Finjustering av GPT-J, GPT-3-alternativet med öppen källkod

Kraften i GPT-J

Sedan GPT-J släpptes i juni 2021 har det lockat massor av användare av Natural Language Processing - datavetare - till GPT-J. eller utvecklare - som tror att denna kraftfulla modell för behandling av naturligt språk kommer att hjälpa dem att ta sin AI-applikation till en högre nivå. nästa nivå (se EleutherAI:s webbplats).

GPT-J är så kraftfull eftersom den har tränats på 6 miljarder parametrar. Konsekvensen är att detta är en mycket mångsidig modell som du kan använda för nästan alla avancerade användningsområden för Natural Language Processing (sentimentanalyser, textanalyser klassificering, chatbots, översättning, kodgenerering, parafrasgenerering och mycket mer). När den är rätt inställd, GPT-J är så flytande att det är omöjligt att säga att texten är genererad av en maskin...

Det är möjligt att enkelt anpassa GPT-J till ditt användningsområde i farten genom att använda den så kallade tekniken (se hur du använder den här). Om inlärning med få skott inte är räcker, måste du välja en mer avancerad teknik: finjustering.

Vad är finjustering?

När det gäller att skapa en egen modell handlar den traditionella tekniken om att lära upp en ny modell från med egna data. Problemet är att moderna modeller som GPT-J är så enorma att det nästan är omöjligt för vem som helst att träna denna modell från grunden. EleutherAI sa att det tog dem 5 veckor att träna GPT-J på TPUs v3-256, vilket innebär att det kostade hundratusentals dollar...

Den goda nyheten är att det inte är nödvändigt att träna om GPT-J eftersom vi har en finjustering! Finjustering handlar om att ta den befintliga GPT-J-modellen och anpassa den något. Tidigare har man genom att träna traditionella modeller för behandling av naturliga språk från grunden krävdes massor av exempel. Med den nya generationens Transformer-baserade modeller är det annorlunda: färre exempel är nödvändiga och kan leda till fantastiska resultat. Om du någonsin har hört talas om "överföringsinlärning", är det detta som det handlar om.

Hur finjusterar man GPT-J?

Även om det är mycket lättare att finjustera GPT-J än att träna modellen från grunden är det fortfarande en utmaning. av flera skäl:

• • Det är en mycket beräkningskrävande operation som kan ta mycket lång tid på GPU:n. Det bästa alternativet är att använda en TPU för detta.
• • Finjusteringsprocessen kräver lite övning, vissa parametrar bör justeras, och du kan lätt få en suboptimal noggrannhet.
• • När du väl har din helt nya, finjusterade modell är det inte slut: du måste använda den och använda den på ett tillförlitligt sätt i produktionen.

Om du vill finjustera GPT-J själv kan du göra så här:

• • Följ instruktionerna från teamet kring Mesh Transformer Jax här.
• • Se till att finjusteringen görs på en TPU V3 eftersom minnet kommer att ta slut på en TPU V2. Du kan be om gratis TPU-åtkomst i en månad tack vare TPU Research Cloud (TRC)-programmet.
• • Glöm inte att omvandla ditt resultat till en smal GPT-J-version som lämpar sig bättre för produktion. produktion.

Finjustering av GPT-J på NLP Cloud

På NLP Cloud har vi arbetat hårt med en finjusteringsplattform för GPT-J. Det är nu möjligt att enkelt finjustera GPT-J: ladda bara upp ditt dataset med dina exempel och låt oss finjustera och distribuera GPT-J. modellen åt dig. När processen är klar kan du använda din nya modell som en privat modell på vårt API.

Själva finjusteringsprocessen är gratis, och sedan måste du välja en finjusteringsplan beroende på volym av förfrågningar som du vill göra på din nyinstallerade modell.

Om du inte vill lägga alltför mycket tid på finjustering och driftsättning är det ett alternativ. du kanske vill överväga.

Slutsats

GPT-J är en fantastisk modell för behandling av naturligt språk. Blanda den med inlärning och finjustering med några få skott och du får en toppmodern AI-applikation!

Om du har frågor, tveka inte att kontakta oss.

Julien Salinas
CTO på NLP Cloud