In questo corso di NLP Cloud vengono evidenziate le tappe fondamentali della storia dell'intelligenza artificiale del linguaggio (nota anche come Natural Language Processing).
Ecco la struttura del corso:
Salve, sono Julien Salinas di NLP Cloud, una piattaforma AI avanzata per il vostro prossimo progetto AI.
È interessante per i professionisti dell'IA comprendere la storia dell'IA e vedere quali importanti pietre miliari hanno portato ai modelli generativi all'avanguardia che tutti noi utilizziamo oggi.
In questo corso, ripercorrerò rapidamente la storia dei modelli linguistici dal XX secolo a oggi.
L'intelligenza artificiale non è una novità.
Ingegneri e linguisti hanno iniziato a lavorare sull'intelligenza artificiale per la comprensione dei testi intorno al 1950.
Questa è stata l'era dell'elaborazione simbolica del linguaggio naturale fino agli anni Novanta.
All'epoca, la motivazione principale era la traduzione automatica e l'IA si basava su un insieme di regole.
Il miglioramento di un algoritmo di intelligenza artificiale consisteva principalmente nell'aggiungere altre regole al programma.
I ricercatori erano piuttosto entusiasti dei primi risultati e pensavano che la traduzione automatica sarebbe stata un problema risolto in un paio d'anni.
Ebbene, ancora oggi il problema non è del tutto risolto.
Questi sistemi basati su regole hanno portato anche al primo chatbot, molto semplice, chiamato Elisa.
A partire dal 1990, siamo entrati nell'era della PNL statistica.
L'utilizzo dell'IA con le statistiche invece che con le regole predefinite ci ha permesso di iniziare a costruire sistemi molto più potenti senza dover pensare in anticipo a tutti gli scenari.
Ciò è stato reso possibile dai progressi della ricerca matematica, ma anche dalla maggiore potenza di calcolo fornita dalle nuove CPU.
I sistemi apprenderanno sulla base di feedback umani, noti anche come apprendimento supervisionato, e in seguito anche senza alcun intervento umano, noto anche come apprendimento non supervisionato.
In questo modo è stato possibile addestrare modelli interessanti basati sull'enorme volume di dati non strutturati provenienti da Internet.
All'epoca le aziende che utilizzavano l'apprendimento automatico in produzione erano poche e il caso d'uso più diffuso era il riconoscimento di entità denominate, noto anche come estrazione di entità.
Le reti neurali non sono una novità.
A metà del XX secolo, alcuni ricercatori avevano già avuto l'intuizione di creare un sistema di intelligenza artificiale fatto di neuroni che imitasse il cervello umano.
Ma le reti neurali hanno iniziato a dare risultati interessanti solo intorno al 2010.
Grazie alle GPU, è stato possibile addestrare reti neurali molto più grandi.
Questo è stato l'inizio della cosiddetta era del deep learning.
I primi risultati impressionanti sono arrivati dalla computer vision grazie alle reti neurali convoluzionali, che hanno permesso una classificazione avanzata delle immagini.
Il linguaggio ha beneficiato davvero del deep learning solo un po' più tardi.
Fino al 2010 e all'avvento del deep learning, l'IA linguistica era essenzialmente un'area di ricerca e poche aziende utilizzavano l'elaborazione del linguaggio naturale nei loro prodotti.
Vediamo ora quale recente scoperta ha portato alla tecnologia dell'IA generativa che tutti conosciamo oggi.
La vera svolta per i modelli linguistici è avvenuta nel 2017, quando alcuni ricercatori di Google hanno pubblicato un documento intitolato Attention is All You Need.
Il presente lavoro descrive un nuovo tipo di architettura di rete neurale, chiamata trasformatore, basata su un nuovo principio chiamato autoattenzione.
L'architettura transformer è il cuore di tutti gli impressionanti modelli linguistici che abbiamo visto dal 2017.
Subito dopo, il primo modello è stato addestrato da Google seguendo l'architettura a trasformatori.
Questo modello è stato chiamato BERT.
BERT è stato il primo modello linguistico di livello produttivo che poteva essere utilizzato per tutti i tipi di casi d'uso, riassunto, estrazione di entità, risposta a domande, traduzione e altro ancora.
Il BERT è stato molto interessante perché per la prima volta è stato creato un modello che era in grado di apprendere il trasferimento.
In pratica, il modello è stato pre-addestrato su un ampio insieme di dati non annotati ed è stato in grado di apprendere rapidamente molti tipi di casi d'uso grazie a una rapida messa a punto che richiede pochissimi dati aggiuntivi.
OpenAI era inizialmente una startup di AI senza scopo di lucro che ha rilasciato un nuovo tipo di architettura, GPT, basata sul trasformatore.
Quando hanno rilasciato il GPT-2 nel 2019, tutti sono rimasti impressionati dalle capacità di questo modello di generazione di testo.
Il GPT-2 è stato il primo modello generativo di livello produttivo.
È stato particolarmente utile per il completamento del testo.
Ad esempio, è stato utilizzato da Microsoft per il completamento automatico in Microsoft Office.
È stato addestrato su 8 milioni di pagine web e 7.000 libri e conteneva 1,5 miliardi di parametri, che ovviamente non sono molti rispetto ai modelli di cui disponiamo oggi.
Nel 2020, OpenAI ha compiuto una seconda rivoluzione.
È diventata un'azienda a scopo di lucro e ha rilasciato un potente modello generativo chiamato GPT-3.
Il GPT-3 si basava ancora sull'architettura GPT, ma si allenava su più contenuti.
Conteneva 175 miliardi di parametri e ha richiesto l'addestramento di migliaia di GPU per diversi mesi.
Anche se non è ufficiale, i ricercatori ritengono che il pre-allenamento GPT-3 sia costato circa 5 milioni di dollari.
È stato il primo modello generativo versatile in grado di affrontare ogni tipo di caso d'uso.
Per sfruttare al meglio questo modello, la messa a punto non era più necessaria.
Nella maggior parte dei casi, l'apprendimento con pochi scatti è stato sufficiente e ha funzionato molto bene anche in modalità di apprendimento a zero scatti.
Poi, con lo stesso spirito, sono arrivati ChatGPT e GPT-4.
Poco dopo, OpenAI ha rilasciato altri tipi di modelli dirompenti.
Grazie a DALI, è stato possibile generare belle immagini a partire dal testo.
E grazie a Whisper hanno alzato drasticamente il livello del settore speech-to-text.
Potreste aver notato molti termini diversi in questo corso.
Apprendimento automatico, apprendimento profondo, reti neurali, elaborazione del linguaggio naturale, IA, IA generativa.
Alcuni sono termini tecnici specifici, mentre altri sono semplicemente parole di moda.
Personalmente ritengo che l'elaborazione del linguaggio naturale sia il termine giusto per la tecnologia di IA linguistica che stiamo utilizzando oggi.
Ma questo non è molto importante.
Ora avete una comprensione di base della provenienza dei nostri modelli di intelligenza artificiale.