În acest curs NLP Cloud vom evidenția etapele importante din istoria inteligenței artificiale a limbajului (cunoscută și sub numele de Natural Language Processing).
Iată care este structura cursului:
Bună ziua, sunt Julien Salinas de la NLP Cloud, o platformă avansată de inteligență artificială pentru următorul dumneavoastră proiect de inteligență artificială.
Este interesant pentru specialiștii în inteligență artificială să înțeleagă istoria inteligenței artificiale și să vadă care sunt etapele importante care au condus la modelele generative de ultimă generație pe care le folosim cu toții astăzi.
În acest curs, voi trece rapid în revistă istoria modelelor lingvistice din secolul XX până în prezent.
Inteligența artificială nu este un lucru nou.
Inginerii și lingviștii au început să lucreze la inteligența artificială pentru înțelegerea textelor în jurul anului 1950.
Aceasta a fost epoca prelucrării simbolice a limbajului natural până în anii '90.
La acea vreme, motivația principală era traducerea automată, iar inteligența artificială se baza pe un set de reguli.
Îmbunătățirea unui algoritm de inteligență artificială consta, în principal, în adăugarea mai multor reguli în program.
Cercetătorii au fost destul de entuziasmați de primele lor rezultate și au crezut că traducerea automată va fi o problemă rezolvată în câțiva ani.
Ei bine, nici astăzi nu este încă rezolvată în totalitate.
Aceste sisteme bazate pe reguli au condus, de asemenea, la primul chatbot foarte simplu, numit Elisa.
Începând cu 1990, am intrat în era NLP-ului statistic.
Folosirea inteligenței artificiale cu ajutorul statisticilor în loc de reguli predefinite a însemnat că am putut începe să construim sisteme mult mai puternice fără a fi nevoiți să ne gândim în prealabil la toate scenariile.
Acest lucru a fost posibil datorită progreselor înregistrate în cercetarea matematică, dar și datorită creșterii puterii de calcul oferite de noile unități centrale de procesare.
Sistemele vor învăța pe baza feedback-ului uman, cunoscut și sub numele de învățare supravegheată, iar mai târziu chiar fără nicio intervenție umană, cunoscută și sub numele de învățare nesupravegheată.
Astfel, a fost posibilă formarea unor modele interesante pe baza volumului imens de date nestructurate provenite de pe internet.
La acea vreme, noi întreprinderi foloseau de fapt învățarea automată în producție, iar cel mai popular caz de utilizare era recunoașterea entităților numite, cunoscută și sub numele de extracție de entități.
Rețelele neuronale nu sunt noi.
La mijlocul secolului XX, unii cercetători au avut deja intuiția de a crea un sistem de inteligență artificială format din neuroni care să imite creierul uman.
Dar rețelele neuronale au început să dea rezultate interesante abia în jurul anului 2010.
Datorită GPU-urilor, a fost posibilă antrenarea unor rețele neuronale mult mai mari.
Acesta a fost începutul așa-numitei ere a învățării profunde.
Primele rezultate impresionante au fost obținute în domeniul vederii computerizate datorită rețelelor neuronale convoluționale, care au permis o clasificare avansată a imaginilor.
Limba a beneficiat cu adevărat de învățarea profundă abia puțin mai târziu.
Până în 2010 și până la apariția învățării profunde, inteligența artificială a limbajului era, în esență, un domeniu de cercetare și puține întreprinderi foloseau procesarea limbajului natural în produsele lor.
Acum să vedem care descoperire recentă a dus la tehnologia generativă de inteligență artificială pe care o cunoaștem cu toții astăzi.
Adevărata descoperire pentru modelele lingvistice a avut loc în 2017, când niște cercetători de la Google au publicat o lucrare intitulată Attention is All You Need.
Această lucrare a descris un nou tip de arhitectură de rețea neuronală numită transformator, bazată pe un nou principiu numit autoatenție.
Arhitectura transformatorului se află în centrul tuturor modelelor lingvistice impresionante pe care le-am văzut începând cu 2017.
La scurt timp după aceea, primul model a fost antrenat de Google, urmând arhitectura transformatorului.
Acest model a fost numit BERT.
BERT a fost primul model lingvistic de producție care putea fi utilizat pentru tot felul de cazuri de utilizare, rezumare, extragere de entități, răspuns la întrebări, traducere și multe altele.
BERT a fost cu adevărat interesant, deoarece pentru prima dată a fost creat un model care a fost bun la învățarea prin transfer.
Practic, modelul a fost pre-antrenat pe un set mare de date neanunțate și apoi a fost capabil să învețe rapid multe tipuri de cazuri de utilizare datorită unor reglaje rapide și fine care necesită foarte puține date suplimentare.
OpenAI a fost inițial un startup non-profit de inteligență artificială care a lansat un nou tip de arhitectură, GPT, bazată pe transformator.
Când au lansat GPT-2 în 2019, toată lumea a fost impresionată de capacitățile acestui model de generație de text.
GPT-2 a fost primul model generativ de producție.
A fost deosebit de bun pentru completarea textului.
De exemplu, a fost folosit de Microsoft pentru autocompletarea în Microsoft Office.
Acesta a fost antrenat pe 8 milioane de pagini web și 7.000 de cărți și conținea 1,5 miliarde de parametri, ceea ce, desigur, nu este mult în comparație cu modelele de care dispunem astăzi.
În 2020, OpenAI a făcut o a doua revoluție.
Au devenit o companie cu scop lucrativ și au lansat un model generativ puternic numit GPT-3.
GPT-3 s-a bazat în continuare pe arhitectura GPT, dar a fost antrenat pe mai mult conținut.
Acesta conținea 175 de miliarde de parametri și a necesitat mii de GPU pentru a fi antrenat timp de câteva luni.
Chiar dacă nu este oficial, cercetătorii cred că pre-antrenamentul GPT-3 costă în jur de 5 milioane de dolari.
A fost primul model generativ versatil care a fost capabil să abordeze tot felul de cazuri de utilizare.
Pentru a profita la maximum de acest model, nici măcar nu mai era nevoie de reglajul fin.
De cele mai multe ori, învățarea în câteva focuri a fost suficientă și chiar a funcționat foarte bine în modul de învățare fără focuri.
Apoi, în același spirit, au apărut ChatGPT și GPT-4.
La scurt timp după aceea, OpenAI a lansat și alte tipuri de modele disruptive.
Datorită DALI, a fost posibil să se genereze imagini frumoase din text.
Și au ridicat dramatic ștacheta în industria de conversie a vorbirii în text datorită Whisper.
Este posibil să fi observat mulți termeni diferiți în acest curs.
Învățare automată, învățare profundă, rețele neuronale, procesarea limbajului natural, inteligență artificială, inteligență artificială generativă.
Unii sunt termeni tehnici specifici, în timp ce alții sunt pur și simplu cuvinte la modă.
Personal, cred că procesarea limbajului natural este termenul corect pentru tehnologia de inteligență artificială lingvistică pe care o folosim în prezent.
Dar acest lucru nu este foarte important.
Acum aveți o înțelegere de bază a provenienței modelelor noastre de inteligență artificială.