A GPT-J, a GPT-3 nyílt forráskódú alternatívájának finomhangolása

A GPT-J ereje

Mióta 2021 júniusában megjelent, a GPT-J rengeteg természetes nyelvfeldolgozó felhasználót vonzott - adattudósok vagy fejlesztők -, akik úgy vélik, hogy ez a nagy teljesítményű természetes nyelvfeldolgozó modell segít nekik abban, hogy mesterséges intelligencia alkalmazásukat a következő szintre (lásd az EleutherAI weboldalát).

A GPT-J azért ilyen hatékony, mert 6 milliárd paraméteren képezték ki. Ennek az a következménye, hogy ez egy nagyon sokoldalú modell, amelyet szinte bármilyen fejlett természetes nyelvfeldolgozási felhasználási esethez használhatunk (hangulatelemzés, szöveges osztályozás, chatbotok, fordítás, kódgenerálás, parafrázis-generálás és még sok más). Megfelelő hangolás esetén, a GPT-J annyira gördülékeny, hogy lehetetlen azt mondani, hogy a szöveget gép generálta...

A GPT-J-t könnyen hozzá lehet igazítani az Ön felhasználási esetéhez az ún. (lásd, hogyan kell használni itt). Ha azonban a néhány lövéses tanulás nem elég, akkor egy fejlettebb technikát kell választania: a finomhangolást.

Mi az a finomhangolás?

Amikor saját modell létrehozására kerül sor, a hagyományos technika egy új modell kiképzéséről szól. a semmiből a saját adataiddal. A probléma az, hogy a modern modellek, mint például a GPT-J, olyan hatalmasak, hogy szinte hogy szinte lehetetlen bárki számára a semmiből betanítani ezt a modellt. Az EleutherAI szerint 5 hétbe telt, mire betanították. GPT-J-t a TPU v3-256-on, ami több százezer dollárba került...

Jó hír, hogy a GPT-J újratanítása nem szükséges, mert van finomhangolás! A finomhangolás a következőkről szól a meglévő GPT-J modellt vesszük és kissé átalakítjuk. A múltban a hagyományos természetes nyelvfeldolgozó modellek képzése a semmiből történő újratermeléséhez rengeteg példára volt szükség. Az új generációs Transformer-alapú modellekkel ez más: kevesebb példa szükséges, és ez nagyszerű eredményekhez vezethet. Ha valaha is hallott már a "transzfer-tanulásról", akkor erről van szó.

Hogyan lehet finomhangolni a GPT-J-t?

Még ha a GPT-J finomhangolása sokkal egyszerűbb is, mint a modell nulláról való kiképzése, még mindig kihívást jelent. több okból is:

• • Ez egy nagyon számításigényes művelet, amely a GPU-n fájdalmasan hosszú lehet. A legjobb megoldás a egy TPU használata.
• • A finomhangolási folyamat némi gyakorlatot igényel, néhány paramétert finomhangolni kell, és a könnyen az optimálistól eltérő pontosságot érhetünk el.
• • Ha már megvan a vadonatúj, finomhangolt modellje, akkor sincs vége: be kell vetnie, és megbízhatóan használni a termelésben.

Ha saját maga szeretné finomhangolni a GPT-J-t, a következőképpen teheti meg:

• • Kövesse a how-to a Mesh Transformer Jax csapatától itt.
• • A finomhangolást mindenképpen egy TPU V3-on végezze el, mivel a TPU V2-en elfogy a memória. A TPU kutatási felhő (TRC) programnak köszönhetően 1 hónapig ingyenes TPU-hozzáférést kérhet.
• • Ne felejtsd el az eredményt egy vékony GPT-J verzióvá alakítani, amely alkalmasabb a gyártásra. következtetés.

A GPT-J finomhangolása az NLP Cloudon

Az NLP Cloudnál keményen dolgoztunk a GPT-J finomhangoló platformján. Most már könnyen finomhangolható GPT-J-t: egyszerűen töltse fel a példákat tartalmazó adatállományát, és hagyja, hogy finomhangoljuk és telepítsük a modellt az Ön számára. Ha a folyamat befejeződött, az új modelljét privát modellként használhatja az API-nkon.

Maga a finomhangolási folyamat ingyenes, majd ki kell választania egy finomhangolási tervet, attól függően, hogy a az újonnan telepített modellel kapcsolatos kérések mennyiségétől függően.

Ha nem szeretne túl sok időt tölteni a finomhangolási és telepítési műveletekkel, akkor ez egy lehetőség. amit érdemes megfontolni.

Következtetés

A GPT-J egy csodálatos természetes nyelvfeldolgozó modell. Keverje össze néhány lépéses tanulással és finomhangolással, és egy korszerű mesterséges intelligencia alkalmazást kap!

Ha kérdése van, kérjük, forduljon hozzánk bizalommal.

Julien Salinas
CTO az NLP Cloud-nál