Ebben az NLP Cloud kurzusban a nyelvi mesterséges intelligencia (más néven természetes nyelvfeldolgozás) történetének fontos mérföldköveit mutatjuk be.
A tanfolyam felépítése a következő:
Üdvözlöm, Julien Salinas vagyok az NLP Cloudtól, egy fejlett AI platformtól a következő AI projektjéhez.
A mesterséges intelligenciával foglalkozó szakemberek számára érdekes megérteni a mesterséges intelligencia történetét, és látni, hogy mely fontos mérföldkövek vezettek a ma használatos élvonalbeli generatív modellekhez.
Ebben a kurzusban gyorsan végigmegyek a nyelvi modellek történetén a 20. századtól napjainkig.
A mesterséges intelligencia nem új dolog.
Mérnökök és nyelvészek 1950 körül kezdtek el dolgozni a szövegértés mesterséges intelligenciáján.
Ez volt a szimbolikus természetes nyelvi feldolgozás korszaka a 90-es évekig.
Abban az időben a fő motiváció a gépi fordítás volt, és a mesterséges intelligencia szabályrendszereken alapult.
Egy mesterséges intelligencia algoritmus fejlesztése elsősorban arról szólt, hogy több szabályt adjunk hozzá a programhoz.
A kutatók eléggé lelkesek voltak az első eredményeik miatt, és úgy gondolták, hogy a gépi fordítás néhány éven belül megoldja a problémát.
Nos, ez még ma sem teljesen megoldott.
Ezek a szabályalapú rendszerek vezettek az első, nagyon egyszerű, Elisa nevű chatbothoz is.
1990-től a statisztikai NLP korszakába léptünk.
Az előre meghatározott szabályok helyett a statisztikákkal dolgozó mesterséges intelligencia használata azt jelentette, hogy sokkal erősebb rendszereket tudtunk építeni anélkül, hogy minden forgatókönyvet előre át kellett volna gondolnunk.
Ezt nemcsak a matematikai kutatás fejlődése tette lehetővé, hanem az új CPU-k által biztosított megnövekedett számítási teljesítmény is.
A rendszerek az emberi visszajelzések alapján tanulnának, amit felügyelt tanulásnak is neveznek, később pedig emberi beavatkozás nélkül is, amit felügyelet nélküli tanulásnak is neveznek.
Így az internetről érkező hatalmas mennyiségű strukturálatlan adat alapján érdekes modelleket lehetett képezni.
Akkoriban új vállalkozások használták a gépi tanulást a termelésben, és a legnépszerűbb felhasználási eset a nevesített entitások felismerése, más néven az entitások kinyerése volt.
A neurális hálózatok nem újdonságok.
A 20. század közepén néhány kutatónak már megvolt a megérzése, hogy neuronokból álló, az emberi agyat utánzó mesterséges intelligencia rendszert hozzon létre.
A neurális hálózatok azonban csak 2010 körül kezdtek érdekes eredményeket felmutatni.
A GPU-knak köszönhetően ezután sokkal nagyobb neurális hálózatok képzése vált lehetővé.
Ez volt az úgynevezett mélytanulás korszakának kezdete.
Az első lenyűgöző eredmények a számítógépes látás területén születtek a konvolúciós neurális hálózatoknak köszönhetően, amelyek lehetővé tették a fejlett képosztályozást.
A nyelv csak egy kicsit később profitált igazán a mélytanulásból.
2010-ig és a mélytanulás megjelenéséig a nyelvi mesterséges intelligencia alapvetően kutatási terület volt, és kevés vállalkozás használta a természetes nyelvi feldolgozást termékeiben.
Lássuk, melyik közelmúltbeli áttörés vezetett a ma ismert generatív mesterséges intelligencia technológiához.
Az igazi áttörést a nyelvi modellek számára 2017-ben jelentette, amikor néhány Google-kutató megjelentette az Attention is All You Need (Figyelemre van szükség) című tanulmányt.
Ez a cikk egy újfajta neurális hálózati architektúrát, az úgynevezett transzformátort írta le, amely az önfigyelés nevű új elven alapul.
A 2017 óta látott lenyűgöző nyelvi modellek középpontjában a transzformátor architektúra áll.
Ezt követően a Google nagyon gyorsan megtanította az első modellt a transzformátor architektúrát követve.
Ezt a modellt BERT-nek nevezték el.
A BERT volt az első gyártói szintű nyelvi modell, amely mindenféle felhasználási esetre, összegzésre, entitás-kivonatolásra, kérdésválaszolásra, fordításra és még sok másra használható volt.
A BERT azért volt igazán érdekes, mert most először hoztak létre olyan modellt, amely jó volt a transzfer tanulásban.
A modellt alapvetően egy nagy mennyiségű, nem kommentált adathalmazon képezték ki, majd a gyors finomhangolásnak köszönhetően, amely nagyon kevés további adatot igényel, képes volt gyorsan megtanulni sokféle felhasználási esetet.
Az OpenAI kezdetben egy non-profit AI startup volt, amely egy újfajta architektúrát, a GPT-t hozta létre, amely a transzformátoron alapul.
Amikor 2019-ben kiadták a GPT-2-t, mindenkit lenyűgöztek ennek a szöveggenerációs modellnek a képességei.
A GPT-2 volt az első gyártási szintű generatív modell.
Különösen jó volt a szövegkiegészítéshez.
A Microsoft például a Microsoft Office automatikus kitöltésére használta.
A programot 8 millió weboldalon és 7000 könyvön képezték ki, és 1,5 milliárd paramétert tartalmazott, ami természetesen nem sok a mai modellekhez képest.
2020-ban az OpenAI egy második forradalmat hajtott végre.
Profitorientált céggé váltak, és kiadtak egy nagy teljesítményű generatív modellt, a GPT-3-at.
A GPT-3 még mindig a GPT architektúrán alapult, de több tartalmat képzett ki.
Ez 175 milliárd paramétert tartalmazott, és több ezer GPU-t igényelt a több hónapig tartó tréninghez.
Még ha nem is hivatalos, a kutatók úgy vélik, hogy a GPT-3 előképzés körülbelül 5 millió dollárba kerül.
Ez volt az első sokoldalú generatív modell, amely mindenféle felhasználási esetet képes volt kezelni.
Ahhoz, hogy a legtöbbet hozza ki ebből a modellből, a finomhangolásra már nem is volt szükség.
A legtöbbször elég volt a néhány lövéses tanulás, sőt, nagyon jól működött a zéró lövéses tanulási módban is.
Aztán ugyanebben a szellemben jött a ChatGPT és a GPT-4.
Nem sokkal ezután az OpenAI másfajta zavaró modelleket adott ki.
A DALI-nak köszönhetően a szövegből gyönyörű képeket lehetett generálni.
És a Whispernek köszönhetően drámaian megemelték a lécet a beszédről szövegre történő kommunikációban.
Lehet, hogy sok különböző kifejezést vettél észre ebben a tanfolyamban.
Gépi tanulás, mélytanulás, neurális hálózatok, természetes nyelvi feldolgozás, mesterséges intelligencia, generatív mesterséges intelligencia.
Egyesek konkrét szakkifejezések, míg mások egyszerűen divatos divatszavak.
Személy szerint úgy gondolom, hogy a természetes nyelvfeldolgozás a megfelelő kifejezés a ma használt nyelvi mesterséges intelligencia technológiára.
De ez nem túl fontos.
Most már alapvetően érti, honnan származnak a mesterséges intelligencia modelljeink.