Doladění GPT-J, alternativy otevřeného zdrojového kódu GPT-3

Síla GPT-J

Od svého vydání v červnu 2021 přilákal GPT-J spoustu uživatelů zpracování přirozeného jazyka - datových vědců. nebo vývojářů -, kteří věří, že jim tento výkonný model zpracování přirozeného jazyka pomůže posunout jejich aplikace umělé inteligence na vyšší úroveň, než je tomu v současnosti. na další úroveň (viz webové stránky EleutherAI).

Logo EleutherAI

GPT-J je tak výkonný, protože byl vycvičen na 6 miliardách parametrů. Důsledkem je, že se jedná o velmi univerzální model, který můžete použít pro téměř jakýkoli pokročilý případ použití zpracování přirozeného jazyka (analýza sentimentu, analýza textu klasifikace, chatboty, překlady, generování kódu, generování parafrází a mnoho dalšího). Při správném vyladění, GPT-J je tak plynulý, že nelze říci, že by text byl generován strojem...

GPT-J je možné snadno přizpůsobit vašemu případu použití za běhu pomocí techniky tzv. (podívejte se, jak ji používat, zde). Pokud však není učení s několika záběry stačí, musíte zvolit pokročilejší techniku: jemné doladění.

Co je to jemné doladění?

Pokud jde o vytváření vlastního modelu, tradiční technika spočívá v tréninku nového modelu z od začátku s vlastními daty. Problémem je, že moderní modely, jako je GPT-J, jsou tak obrovské, že je to téměř pro kohokoli nemožné natrénovat tento model od nuly. Společnost EleutherAI uvedla, že jim trénink zabral 5 týdnů. GPT-J na procesorech TPU v3-256, což znamená, že to stálo stovky tisíc dolarů...

Dobrou zprávou je, že přeškolení GPT-J není nutné, protože máme k dispozici jemné doladění! Jemné doladění se týká vzít stávající model GPT-J a mírně ho upravit. V minulosti se při trénování tradičních modelů zpracování přirozeného jazyka od nuly vyžadovalo spoustu příkladů. U nové generace modelů založených na transformátorech je to jinak: je potřeba méně příkladů, což může vést ke skvělým výsledkům. Pokud jste někdy slyšeli o "transfer-learning", právě o to se jedná.

Jak vyladit GPT-J?

I když je jemné doladění GPT-J mnohem snazší než trénování modelu od nuly, stále je to výzva. z několika důvodů:

• • Jedná se o výpočetně velmi náročnou operaci, která může být na GPU velmi zdlouhavá. Nejlepší možností je použít k tomu TPU.
• • Proces jemného doladění vyžaduje určitou praxi, některé parametry je třeba upravit a můžete. snadno skončit s neoptimální přesností.
• • Jakmile máte svůj zbrusu nový vyladěný model, ještě není konec: musíte ho nasadit a. spolehlivě používat ve výrobě.

Pokud si chcete GPT-J vyladit sami, můžete to udělat takto:

• • Postupujte podle návodu od týmu Mesh Transformer Jax zde.
• • Nezapomeňte provést jemné doladění na jednotce TPU V3, protože na jednotce TPU V2 vám dojde paměť. Díky programu TPU research cloud (TRC) můžete požádat o bezplatný přístup k TPU na 1 měsíc.
• • Nezapomeňte svůj výsledek převést do štíhlé verze GPT-J, která je vhodnější pro výrobu. odvozování.

Jemné doladění GPT-J v NLP Cloud

Ve společnosti NLP Cloud jsme usilovně pracovali na vyladění platformy pro GPT-J. Nyní je možné snadno vyladit GPT-J: stačí nahrát datovou sadu s vašimi příklady a nechat nás vyladit a nasadit GPT-J. model za vás. Po dokončení procesu můžete svůj nový model používat jako soukromý model v našem rozhraní API.

Jemné doladění GPT-J v NLP Cloud

Samotný proces jemného doladění je zdarma a poté je třeba zvolit plán jemného doladění v závislosti na tom. objemu požadavků, které chcete na nově nasazeném modelu provést.

Pokud nechcete trávit příliš mnoho času dolaďováním a nasazováním, je možné využít tuto možnost kterou byste mohli zvážit.

Závěr

GPT-J je úžasný model zpracování přirozeného jazyka. Smíchejte jej s několika málo záběry učení a jemného ladění a získáte nejmodernější aplikaci umělé inteligence!

V případě dotazů nás neváhejte kontaktovat.

Julien Salinas
Technický ředitel společnosti NLP Cloud