Natančno prilagajanje GPT-J, odprtokodne alternative GPT-3

Moč GPT-J

GPT-J je od junija 2021, ko je bil izdan, pritegnil na tone uporabnikov obdelave naravnega jezika - podatkovnih znanstvenikov ali razvijalce -, ki verjamejo, da jim bo ta zmogljivi model obdelave naravnega jezika pomagal njihovo aplikacijo umetne inteligence pripeljati do na naslednjo raven (Oglejte si spletno mesto EleutherAI).

Logotip podjetja EleutherAI

GPT-J je tako zmogljiv, ker je bil usposobljen za 6 milijard parametrov. Posledica tega je, da je to zelo vsestranski model, ki ga lahko uporabite za skoraj vse napredne primere uporabe obdelave naravnih jezikov (analiza čustev, analiza besedila klasifikacija besedil, klepetalni roboti, prevajanje, generiranje kode, generiranje parafraz in še veliko več). Ko je pravilno nastavljen, je GPT-J tako tekoč, da je nemogoče reči, da je besedilo ustvaril stroj...

Sistem GPT-J je mogoče preprosto prilagoditi vašemu primeru uporabe z uporabo tako imenovane tehnike (Oglejte si, kako ga uporabljati, tukaj). Če pa učenje z nekaj posnetki ni dovolj, morate uporabiti naprednejšo tehniko: fino nastavljanje.

Kaj je fino uravnavanje?

Pri ustvarjanju lastnega modela je tradicionalna tehnika usposabljanja novega modela iz z lastnimi podatki. Težava je v tem, da so sodobni modeli, kot je GPT-J, tako obsežni, da je skoraj nemogoče, da bi vsakdo ta model usposobil iz nič. Podjetje EleutherAI je navedlo, da so za usposabljanje potrebovali 5 tednov. GPT-J na procesorjih TPU v3-256, kar pomeni, da je to stalo več sto tisoč dolarjev...

Dobra novica je, da ponovno usposabljanje GPT-J ni potrebno, saj imamo fino nastavitev! Pri finem uglaševanju gre za da vzamemo obstoječi model GPT-J in ga nekoliko prilagodimo. V preteklosti je bilo usposabljanje tradicionalnih modelov za obdelavo naravnega jezika iz nič zahtevalo na tone primerov. Z novo generacijo modelov, ki temeljijo na transformatorju, je drugače: potrebnih je manj primerov, kar lahko privede do odličnih rezultatov. Če ste že kdaj slišali za "transfernem učenju", gre za to.

Kako natančno nastaviti GPT-J?

Čeprav je fino nastavljanje GPT-J veliko lažje kot usposabljanje modela od začetka, je to še vedno izziv. iz več razlogov:

• • Gre za zelo računsko intenzivno operacijo, ki je na grafičnih procesorjih lahko zelo dolga. Najboljša možnost je da za to uporabite TPU.
• • Postopek finega uglaševanja zahteva nekaj prakse, nekatere parametre je treba prilagoditi in lahko zlahka končate s podoptimalno natančnostjo.
• • Ko imate svoj popolnoma nov, natančno uglašen model, še ni konec: treba ga je namestiti in zanesljivo uporabljati v produkciji.

Če želite GPT-J prilagoditi sami, lahko to storite na naslednji način:

• • Sledite navodilom za uporabo ekipe Mesh Transformer Jax tukaj.
• • Natančno nastavitev opravite na TPU V3, saj vam bo na TPU V2 zmanjkalo pomnilnika. V okviru programa TPU research cloud (TRC) lahko zaprosite za brezplačen dostop do TPU za 1 mesec.
• • Ne pozabite spremeniti svojega rezultata v različico GPT-J, ki je primernejša za proizvodnjo. za sklepanje.

Natančna nastavitev GPT-J v oblaku NLP

V podjetju NLP Cloud smo trdo delali na platformi za fino nastavitev za GPT-J. Sedaj je mogoče preprosto prilagoditi GPT-J: preprosto naložite nabor podatkov z vašimi primeri, mi pa vam omogočimo, da ga natančno prilagodite in namestite. model za vas. Ko je postopek končan, lahko svoj novi model uporabite kot zasebni model v našem API-ju.

Natančno uglaševanje GPT-J v oblaku NLP

Sam postopek finega uglaševanja je brezplačen, nato pa morate izbrati načrt finega uglaševanja glede na količine zahtevkov, ki jih želite opraviti v novo nameščenem modelu.

Če ne želite porabiti preveč časa za postopke natančnega prilagajanja in uvajanja, je to možnost. o kateri boste morda želeli razmisliti.

Zaključek

GPT-J je neverjeten model za obdelavo naravnega jezika. Zmešajte ga z učenjem z nekaj posnetki in natančnim uglaševanjem in dobili boste najsodobnejšo aplikacijo umetne inteligence!

Če imate vprašanja, se obrnite na nas.

Julien Salinas
Tehnični direktor v podjetju NLP Cloud