Dolaďovanie GPT-J, alternatívy otvoreného zdroja GPT-3

Sila GPT-J

Od svojho vydania v júni 2021 prilákal GPT-J množstvo používateľov spracovania prirodzeného jazyka - dátových vedcov alebo vývojárov - ktorí veria, že tento výkonný model spracovania prirodzeného jazyka im pomôže posunúť ich aplikáciu umelej inteligencie na vyššiu úroveň ďalšiu úroveň (pozrite si webovú stránku EleutherAI).

Logo EleutherAI

GPT-J je taký výkonný, pretože bol vycvičený na 6 miliardách parametrov. Dôsledkom toho je, že je to veľmi všestranný model, ktorý môžete použiť na takmer akýkoľvek pokročilý prípad použitia spracovania prirodzeného jazyka (analýza sentimentu, analýza textu, analýza klasifikácia, chatboty, preklad, generovanie kódu, generovanie parafráz a mnoho ďalších). Keď je správne vyladený, GPT-J je taký plynulý, že nie je možné povedať, že text je generovaný strojom...

GPT-J je možné ľahko prispôsobiť vášmu prípadu použitia za chodu pomocou tzv. techniky (pozrite si, ako ho používať, tu). Ak sa však učenie s niekoľkými zábermi stačí, je potrebné prejsť na pokročilejšiu techniku: jemné ladenie.

Čo je to jemné doladenie?

Pokiaľ ide o vytvorenie vlastného modelu, tradičná technika spočíva v tréningu nového modelu z od začiatku s vlastnými údajmi. Problémom je, že moderné modely ako GPT-J sú také obrovské, že je takmer nemožné, aby niekto tento model trénoval od nuly. Spoločnosť EleutherAI uviedla, že im trénovanie trvalo 5 týždňov GPT-J na TPU v3-256, čo znamená, že to stálo stovky tisíc dolárov...

Dobrou správou je, že opätovné školenie GPT-J nie je potrebné, pretože máme k dispozícii jemné doladenie! Jemné doladenie sa týka o prevzatie existujúceho modelu GPT-J a jeho mierne prispôsobenie. V minulosti sa pri tréningu tradičných modelov spracovania prirodzeného jazyka od nuly vyžadovalo množstvo príkladov. Pri novej generácii modelov založených na transformátore je to iné: je potrebných menej príkladov, čo môže viesť k skvelým výsledkom. Ak ste niekedy počuli o "transfer-learning", ide práve o toto.

Ako doladiť GPT-J?

Aj keď je jemné doladenie GPT-J oveľa jednoduchšie ako trénovanie modelu od začiatku, stále je to výzva z niekoľkých dôvodov:

• • Ide o veľmi náročnú výpočtovú operáciu, ktorá môže byť na GPU bolestivo dlhá. Najlepšou možnosťou je použiť na to TPU.
• • Proces dolaďovania si vyžaduje určitú prax, niektoré parametre je potrebné upraviť a môžete ľahko skončiť s neoptimálnou presnosťou.
• • Keď už máte svoj úplne nový vyladený model, ešte nie je koniec: musíte ho nasadiť a spoľahlivo používať v produkcii.

Ak si chcete GPT-J vyladiť sami, tu je návod, ako to môžete urobiť:

• • Postupujte podľa návodu od tímu Mesh Transformer Jax tu.
• • Uistite sa, že jemné ladenie vykonávate na TPU V3, pretože na TPU V2 vám dôjde pamäť. Vďaka programu TPU research cloud (TRC) môžete požiadať o bezplatný prístup k TPU na 1 mesiac.
• • Nezabudnite svoj výsledok premeniť na tenkú verziu GPT-J, ktorá je vhodnejšia na výrobu odvodzovanie.

Dolaďovanie GPT-J na NLP Cloud

V spoločnosti NLP Cloud sme tvrdo pracovali na vyladení platformy GPT-J. Teraz je možné ľahko doladiť GPT-J: stačí nahrať súbor údajov obsahujúci vaše príklady a nechať nás doladiť a nasadiť model pre vás. Po dokončení procesu môžete svoj nový model používať ako súkromný model v našom rozhraní API.

Dolaďovanie GPT-J v službe NLP Cloud

Samotný proces doladenia je bezplatný a potom je potrebné vybrať plán doladenia v závislosti od objemu požiadaviek, ktoré chcete na novo nasadenom modeli vykonať.

Ak nechcete stráviť príliš veľa času dolaďovaním a nasadzovaním, je možné ktorú by ste mohli zvážiť.

Záver

GPT-J je úžasný model spracovania prirodzeného jazyka. Ak ho zmiešate s niekoľkonásobným učením a jemným doladením, získate špičkovú aplikáciu umelej inteligencie!

Ak máte otázky, neváhajte nás kontaktovať.

Julien Salinas
Technický riaditeľ spoločnosti NLP Cloud