Finjustering av GPT-J, GPT-3-alternativet med åpen kildekode

GPT-J er kanskje den kraftigste modellen for naturlig språkbehandling med åpen kildekode i dag (det er det eneste alternativet med åpen kildekode som konkurrerer med GPT-3), kan det hende du synes den er for generell og ikke passer perfekt til ditt bruksområde. I så fall er nøkkelen å finjustere GPT-J med dine egne data.

Kraften i GPT-J

Siden den ble lansert i juni 2021, har GPT-J tiltrukket seg tonnevis av brukere av naturlig språkbehandling - dataforskere eller utviklere - som tror at den kraftige modellen for naturlig språkbehandling kan hjelpe dem med å utvikle sine applikasjoner. eller utviklere - som mener at denne kraftige Natural Language Processing-modellen vil hjelpe dem med å ta AI-applikasjonen deres til det neste nivå (se EleutherAIs nettsted).

EleutherAIs logo

GPT-J er så kraftig fordi den ble trent på 6 milliarder parametere. Konsekvensen er at dette er en veldig allsidig modell som du kan bruke til nesten alle avanserte bruksområder for naturlig språkbehandling (sentimentanalyse, tekstklassifisering, chatbots klassifisering, chatbots, oversettelse, kodegenerering, parafrasegenerering og mye mer). Når den er riktig innstilt, GPT-J er så flytende at det er umulig å si at teksten er generert av en maskin ...

Det er mulig å enkelt tilpasse GPT-J til ditt brukstilfelle på farten ved å bruke den såkalte teknikken (se hvordan du bruker det her). Men hvis læring med få skudd ikke er ikke er nok, må du gå for en mer avansert teknikk: finjustering.

Hva er finjustering?

Når det gjelder å lage din egen modell, handler den tradisjonelle teknikken om å trene en ny modell fra bunnen av med dine egne data. fra bunnen av med dine egne data. Problemet er at moderne modeller som GPT-J er så store at det nesten er umulig for noen å trene denne modellen fra bunnen av. umulig for noen å trene denne modellen fra bunnen av. EleutherAI sa at det tok dem 5 uker å trene GPT-J på TPUs v3-256, noe som betyr at det kostet hundretusener av dollar ...

Den gode nyheten er at omskolering av GPT-J ikke er nødvendig fordi vi har finjustering! Finjustering handler om å ta den eksisterende GPT-J-modellen og tilpasse den litt. I det siste, opplæring av tradisjonelle Natural Language Processing-modeller fra bunnen av pleide å ta tonnevis av eksempler. Med den nye generasjonen Transformer-baserte modeller er det annerledes. annerledes: færre eksempler er nødvendig og kan føre til gode resultater. Hvis du noen gang har hørt om "transfer-learning", så er det dette det handler om.

Hvordan finjustere GPT-J?

Selv om finjustering av GPT-J er mye enklere enn å trene modellen fra bunnen av, er det fortsatt en utfordring av flere grunner:

• Det er en veldig beregningsintensiv operasjon som kan være smertefullt lang på GPU. Det beste alternativet er å bruke en TPU til det.
• Finjusteringsprosessen krever litt øvelse, noen parametere bør finjusteres, og du kan lett ende opp med en lett ende opp med en suboptimal nøyaktighet.
• Når du har din splitter nye finjusterte modell, er det ikke over: du må ta den i bruk og bruke den pålitelig i produksjonen. bruke den på en pålitelig måte i produksjonen.

Hvis du vil finjustere GPT-J selv, kan du gjøre det slik:

• Følg veiledningen fra Mesh Transformer Jax-teamet her.
• Sørg for å utføre finjusteringen på en TPU V3, da du vil gå tom for minne på en TPU V2. Du kan be om gratis TPU-tilgang i 1 måned takket være TPU Research Cloud (TRC)-programmet.
• Ikke glem å gjøre resultatet ditt til en slank GPT-J-versjon som er mer egnet for produksjon. slutning.

Finjustering av GPT-J på NLP Cloud

Hos NLP Cloud har vi jobbet hardt med en finjusteringsplattform for GPT-J. Det er nå mulig å finjustere GPT-J: bare last opp datasettet med eksemplene dine, og la oss finjustere og distribuere modellen for deg. modellen for deg. Når prosessen er ferdig, kan du bruke den nye modellen din som en privat modell i API-et vårt.

GPT-J finjustering på NLP-skyen

Selve finjusteringsprosessen er gratis, og deretter må du velge en finjusteringsplan avhengig av hvor mange forespørsler du vil gjøre på den nye modellen. volumet av forespørsler du ønsker å gjøre på den nylig distribuerte modellen.

Hvis du ikke ønsker å bruke for mye tid på finjustering og utrulling, er det et alternativ du kan vurdere du kanskje bør vurdere.

Konklusjon

GPT-J er en fantastisk modell for naturlig språkbehandling. Bland det med få-shot læring og finjustering, og du vil få en toppmoderne AI-applikasjon!

Hvis du har spørsmål, ikke nøl med å kontakte oss. Prøv gjerne GPT-J finjustering på NLP Cloud!

Abhinav
Utviklingsingeniør hos NLP Cloud