Arriva Microsoft Phi-3, il Gigante di Redmond ha lanciato il suo nuovo modello di intelligenza artificiale generativa, chiamato appunto Phi-3. Questo innovativo sistema rappresenta un passo avanti significativo nel campo dell’IA, grazie alla sua combinazione di potenza e leggerezza, si può dire che rientri in quella che viene definita AI frugale.

 

Microsoft Phi-3: caratteristiche tecniche

1. Architettura avanzata: Phi-3 è basato su un’architettura neurale profonda che combina reti neurali convoluzionali (CNN) e reti neurali ricorrenti (RNN). Questa architettura ibrida consente di gestire compiti complessi con efficienza.

2. Peso ridotto: A differenza di molti modelli di IA che richiedono risorse computazionali pesanti, Phi-3 è progettato per funzionare su dispositivi con risorse limitate. Ciò lo rende ideale per applicazioni su dispositivi mobili, robotica e IoT.

3. Generazione creativa: Phi-3 eccelle nella generazione di contenuti creativi, come testi, immagini e musica. Può creare opere d’arte originali, scrivere poesie e comporre melodie coinvolgenti.

4. Apprendimento rapido: Grazie a un algoritmo di apprendimento rapido, Phi-3 può adattarsi rapidamente a nuovi compiti e dati. Questa flessibilità lo rende adatto per una vasta gamma di applicazioni.

5. Privacy e sicurezza: Microsoft ha posto grande enfasi sulla privacy e sulla sicurezza dei dati con Phi-3. Il modello è stato progettato per proteggere le informazioni sensibili e rispettare le normative sulla privacy.

Microsoft Phi-3: come è nato

Come suggerisce il nome stesso, rispetto ai LLM (modelli di linguaggio di grandi dimensioni), gli SLM (modelli di linguaggio di piccole dimensioni) sono piccoli, almeno secondo gli standard dell’AI. Phi-3-mini ha “solo” 3,8 miliardi di parametri – un’unità di misura che si riferisce ai “regolatori” algoritmici di un modello che aiutano a determinarne l’output. In confronto, i  modelli di linguaggio di grandi dimensioni sono molte volte più grandi.

I grandi progressi nell’AI generativa introdotti dai modelli di linguaggio di grandi dimensioni erano in gran parte considerati abilitati proprio dalla loro enorme dimensione. Tuttavia, il team di Microsoft è stato in grado di sviluppare modelli di linguaggio di piccole dimensioni che possono fornire risultati eccellenti partendo da dimensioni compatte. Questa svolta è stata resa possibile da un approccio altamente selettivo ai dati di addestramento.

Fino ad oggi, il modo standard di addestrare i modelli di linguaggio di grandi dimensioni è stato quello di utilizzare enormi quantità di dati provenienti da Internet. Si pensava che questo fosse l’unico modo per soddisfare il grande bisogno di contenuti di questo tipo di modello, che necessita per “imparare” a comprendere le sfumature del linguaggio e generare risposte intelligenti alle richieste degli utenti. Ma i ricercatori di Microsoft hanno avuto un’idea diversa.

“Invece di addestrare solo su dati grezzi del web, perché non cercare dati di altissima qualità?” si è chiesto Sebastien Bubeck, vicepresidente di Microsoft per la ricerca sull’AI generativa, che ha guidato gli sforzi dell’azienda nello sviluppo di modelli di linguaggio di piccole dimensioni più capaci. Ma su cosa concentrarsi?

Ispirati dalla routine serale di lettura di Eldan con sua figlia, i ricercatori di Microsoft hanno deciso di creare un set di dati discreto partendo da 3.000 parole – includendo un numero approssimativamente uguale di sostantivi, verbi e aggettivi. Poi hanno chiesto a un LLM di creare una storia per bambini utilizzando un sostantivo, un verbo e un aggettivo dalla lista – un suggerimento ripetuto milioni di volte per diversi giorni, generando milioni di piccole storie per bambini.

 

Hanno chiamato il set di dati risultante “TinyStories” e lo hanno utilizzato per addestrare modelli di linguaggio molto piccoli di circa 10 milioni di parametri. Con loro sorpresa, quando è stato chiesto al piccolo modello di linguaggio addestrato su TinyStories di creare le proprie storie, ha generato narrazioni fluenti con una grammatica perfetta.

Successivamente, hanno alzato il livello. Questa volta un gruppo più numeroso di ricercatori ha utilizzato dati pubblici selezionati con cura che erano stati filtrati in base al valore educativo e alla qualità del contenuto per addestrare Phi-1. Dopo aver raccolto le informazioni pubblicamente disponibili in un set di dati iniziale, hanno utilizzato una formula di prompting  ispirata a quella usata per TinyStories, ma hanno compiuto un ulteriore passo in avanti rendendola più sofisticata, in modo che potesse catturare uno spettro più ampio di dati. Per garantire l’alta qualità, hanno ripetutamente filtrato il contenuto risultante prima di reinserirlo in un LLM per ulteriori sintesi. In questo modo, nel corso di diverse settimane, hanno costruito un corpus di dati abbastanza ampio per addestrare un SLM.

“Molta cura viene impiegata nella produzione di questi dati sintetici”, ha detto Bubeck, riferendosi ai dati generati dall’IA, “rivedendoli, assicurandosi che abbiano senso, filtrandoli. Non prendiamo tutto ciò che produciamo.” Hanno chiamato questo set di dati “CodeTextbook.”

I ricercatori hanno ulteriormente migliorato il set di dati avvicinandosi alla selezione dei dati come un insegnante che semplifica i concetti difficili per uno studente. “Perché l’AI sta leggendo materiale simile a un libro di testo, da documenti di qualità che spiegano le cose molto, molto bene”, ha detto Bubeck, “in questo modo si rende più semplice il compito di leggere e comprendere il materiale”.

Distinguere tra informazioni di alta e bassa qualità non è difficile per un essere umano, ma ordinare più di un terabyte di dati che i ricercatori di Microsoft hanno determinato di aver bisogno per addestrare il loro SLM sarebbe impossibile senza aiuto da un LLM.

“La potenza della generazione attuale di grandi modelli di linguaggio è davvero un fattore abilitante che non avevamo precedentemente in termini di generazione di dati sintetici”, ha detto Ece Kamar, vicepresidente di Microsoft che dirige il Microsoft Research AI Frontiers Lab, dove è stato sviluppato il nuovo approccio.

Partire con dati selezionati con cura aiuta a ridurre la probabilità che i modelli restituiscano risposte indesiderate o inappropriate, ma non è sufficiente a proteggere contro tutte le potenziali sfide in termini di sicurezza.

Microsoft Phi-3: utilizzi

– Assistenza virtuale: Phi-3 può essere integrato in chatbot e assistenti virtuali per rispondere alle domande degli utenti e fornire supporto personalizzato.

– Generazione di testo creativo: Phi-3 può essere utilizzato per generare testo creativo, come poesie, storie o canzoni. La sua capacità di seguire istruzioni specifiche lo rende adatto per creare contenuti originali.

– Automazione: Phi-3 può automatizzare compiti ripetitivi, come l’analisi di dati o la classificazione di immagini.

– Medicina: Nell’ambito medico, Phi-3 può aiutare nella diagnosi precoce di malattie o nell’analisi di immagini mediche.

– Assistenza alla scrittura: Gli scrittori possono utilizzare Phi-3 per ottenere suggerimenti, correzioni grammaticali e idee per migliorare i loro testi.

– Supporto per la programmazione: Phi-3 è addestrato su una vasta gamma di testi tecnici e può aiutare gli sviluppatori a risolvere problemi di programmazione, fornendo esempi di codice o spiegazioni dettagliate.

– Chatbot e assistenti virtuali: Phi-3 può essere integrato in chatbot o assistenti virtuali per rispondere alle domande degli utenti o per automatizzare alcune attività.

– Traduzione automatica: Utilizzando Phi-3, è possibile creare sistemi di traduzione automatica che convertono testi da una lingua all’altra.

– Analisi del linguaggio naturale: Phi-3 può essere utilizzato per estrarre informazioni significative dai testi, come l’identificazione delle emozioni o l’estrazione di entità (nomi, date, luoghi) da documenti.

– Generazione di contenuti multimediali: Phi-3 può essere utilizzato per creare descrizioni di immagini o video, generare didascalie o scrivere articoli su argomenti specifici.

– Ricerca semantica: Phi-3 può essere utilizzato per migliorare la ricerca semantica su piattaforme web o per creare motori di ricerca più intelligenti.