Finjustering af GPT-J, GPT-3-alternativet med åben kildekode

GPT-J's styrke

Siden GPT-J blev frigivet i juni 2021, har det tiltrukket masser af brugere af Natural Language Processing - dataloger eller udviklere - som mener, at denne kraftfulde Natural Language Processing-model vil hjælpe dem med at tage deres AI-applikation til den næste niveau (se EleutherAI's websted).

EleutherAI's logo

GPT-J er så effektiv, fordi den er blevet trænet på 6 milliarder parametre. Konsekvensen er, at det er en meget alsidig model, som du kan bruge til næsten enhver avanceret brug af Natural Language Processing (følelsesanalyse, tekst klassifikation, chatbots, oversættelse, kodegenerering, parafrasegenerering og meget mere). Når den er korrekt indstillet, er GPT-J så flydende, at det er umuligt at sige, at teksten er genereret af en maskine ...

Det er muligt nemt at tilpasse GPT-J til din brugssituation i farten ved at bruge den såkaldte teknik (se, hvordan du bruger det her). Men hvis læring med få skud ikke er nok, skal du gå til en mere avanceret teknik: finjustering.

Hvad er finjustering?

Når det drejer sig om at skabe sin egen model, handler den traditionelle teknik om at træne en ny model fra scratch med dine egne data. Problemet er, at moderne modeller som GPT-J er så store, at det næsten er umuligt for alle at træne denne model fra bunden. EleutherAI sagde, at det tog dem 5 uger at træne GPT-J på TPU'er v3-256, hvilket betyder at det kostede hundredtusindvis af dollars...

Den gode nyhed er, at det ikke er nødvendigt at genoptræne GPT-J, fordi vi har finjustering! Finjustering handler om at tage den eksisterende GPT-J-model og tilpasse den en smule. Tidligere har man ved træning af traditionelle modeller til behandling af naturlige sprog fra bunden krævede tonsvis af eksempler. Med den nye generation af Transformer-baserede modeller er det anderledes: færre eksempler er nødvendige og kan føre til gode resultater. Hvis du nogensinde har hørt om "transfer-learning", er det det, hvad det drejer sig om.

Hvordan finjusterer man GPT-J?

Selv om finjustering af GPT-J er meget lettere end at træne modellen fra bunden, er det stadig en udfordring af flere grunde:

• • Det er en meget beregningskrævende operation, der kan tage lang tid på GPU'en. Den bedste løsning er at bruge en TPU til det.
• • Finjusteringsprocessen kræver lidt øvelse, nogle parametre skal justeres, og du kan nemt ende med en suboptimal nøjagtighed.
• • Når du har din helt nye, finjusterede model, er det ikke slut: du skal implementere den og bruge den pålideligt i produktionen.

Hvis du selv ønsker at finjustere GPT-J, kan du gøre det på følgende måde:

• • Følg vejledningen fra Mesh Transformer Jax-holdet her.
• • Sørg for at foretage finjusteringen på en TPU V3, da du løber tør for hukommelse på en TPU V2. Du kan bede om gratis TPU-adgang i 1 måned takket være TPU Research Cloud (TRC)-programmet (TPU Research Cloud).
• • Glem ikke at omdanne dit resultat til en slank GPT-J-version, der er mere egnet til produktion konklusion.

Finjustering af GPT-J i NLP Cloud

I NLP Cloud har vi arbejdet hårdt på en finjusteringsplatform til GPT-J. Det er nu muligt nemt at finjustere GPT-J: du skal blot uploade dit datasæt med dine eksempler, og lad os finjustere og implementere model for dig. Når processen er afsluttet, kan du bruge din nye model som en privat model på vores API.

GPT-J finjustering i NLP Cloud

Selve finjusteringsprocessen er gratis, og derefter skal du vælge en finjusteringsplan afhængigt af den mængden af forespørgsler, du ønsker at foretage på din nyligt implementerede model.

Hvis du ikke ønsker at bruge for meget tid på finjustering og implementering, er det en mulighed du måske vil overveje.

Konklusion

GPT-J er en fantastisk model til behandling af naturligt sprog. Bland den med få skud læring og finjustering, og du får en avanceret AI-applikation!

Hvis du har spørgsmål, er du altid velkommen til at kontakte os.

Julien Salinas
Teknisk direktør hos NLP Cloud