GPT-J, GPT-3 atvērtā koda alternatīvas, precizēšana

GPT-J jauda

Kopš tā iznākšanas 2021. gada jūnijā GPT-J ir piesaistījusi daudz dabiskās valodas apstrādes lietotāju - datu zinātnieku. vai izstrādātājus, kuri uzskata, ka šis jaudīgais dabiskās valodas apstrādes modelis palīdzēs viņiem pārcelt savu mākslīgā intelekta lietojumprogrammu uz augstāku līmeni. nākamajā līmenī (skatīt EleutherAI tīmekļa vietni).

EleutherAI logotips

GPT-J ir tik spēcīgs, jo tas tika apmācīts, izmantojot 6 miljardus parametru. Rezultātā tas ir ļoti daudzpusīgs modelis, ko var izmantot gandrīz jebkuram progresīvam dabiskās valodas apstrādes lietojumam (noskaņojuma analīze, teksta analīze, teksta klasifikācija, tērzēšanas roboti, tulkošana, kodu ģenerēšana, parafrāžu ģenerēšana un daudz kas cits). Ja tas ir pareizi noregulēts, GPT-J ir tik plūstošs, ka nav iespējams teikt, ka tekstu ir ģenerējusi mašīna...

GPT-J ir iespējams viegli pielāgot savam lietošanas gadījumam, izmantojot tā saukto metodi. (skatiet, kā to izmantot, šeit). Tomēr, ja mācīšanās ar dažiem šāvieniem nav ar to nepietiek, jums ir jāizmanto sarežģītāka tehnika - precīza regulēšana.

Kas ir precīza regulēšana?

Kad runa ir par sava modeļa izveidi, tradicionālā metode ir jauna modeļa apmācība no no nulles, izmantojot savus datus. Problēma ir tā, ka mūsdienu modeļi, piemēram, GPT-J, ir tik lieli, ka tas ir gandrīz vai neiespējami. ikvienam ir neiespējami apmācīt šo modeli no nulles. EleutherAI apgalvo, ka apmācībai bija nepieciešamas 5 nedēļas. GPT-J uz TPU v3-256, kas nozīmē, ka tas izmaksāja simtiem tūkstošu dolāru...

Labā ziņa ir tā, ka atkārtota GPT-J apmācība nav nepieciešama, jo mums ir smalka regulēšana! Precizēšana attiecas uz esošā GPT-J modeļa izmantošanu un nelielu pielāgošanu. Agrāk, apmācot tradicionālos dabiskās valodas apstrādes modeļus. no nulles bija nepieciešamas tonnas piemēru. Izmantojot jaunās paaudzes modeļus, kas balstīti uz transformatoru, tas ir ir citādāk: ir nepieciešams mazāk piemēru, un tas var dot lieliskus rezultātus. Ja jūs kādreiz esat dzirdējuši par "pārneses mācīšanos", tad runa ir tieši par to.

Kā precīzi pielāgot GPT-J?

Lai gan GPT-J precizēšana ir daudz vieglāka nekā modeļa apmācība no nulles, tas joprojām ir izaicinājums. vairāku iemeslu dēļ:

• • Tā ir ļoti skaitļošanas ietilpīga operācija, kas var būt ļoti ilga, izmantojot GPU. Labākais risinājums ir izmantot TPU.
• • Lai veiktu precīzu regulēšanu, ir nepieciešama zināma prakse, daži parametri ir jākoriģē, un jūs varat. var viegli panākt neoptimālu precizitāti.
• • Kad esat izstrādājis savu jauno, precīzi izstrādāto modeli, viss vēl nav beidzies: jums tas ir jāizvieto un jāizstrādā. to droši izmantot ražošanā.

Ja vēlaties paši veikt GPT-J regulēšanu, šeit ir aprakstīts, kā to izdarīt:

• • Izpildiet norādījumus par to, kā no Mesh Transformer Jax komandas šeit.
• • Pārliecinieties, ka precīzu regulēšanu veicat ar TPU V3, jo TPU V2 atmiņas apjoms būs izsmelts. Pateicoties TPU pētniecības mākoņa (TRC) programmai, varat lūgt bezmaksas piekļuvi TPU uz 1 mēnesi.
• • Neaizmirstiet pārvērst savu rezultātu plānā GPT-J versijā, kas ir vairāk piemērota ražošanai. secinājumiem.

GPT-J precizēšana NLP mākoņa vidē

Uzņēmumā NLP Cloud mēs cītīgi strādājām pie GPT-J pielāgošanas platformas. Tagad ir iespējams viegli veikt precīzu regulēšanu GPT-J: vienkārši augšupielādējiet savu datu kopu ar piemēriem un ļaujiet mums veikt precīzu pielāgošanu un izvietot GPT-J. modeli. Kad process ir pabeigts, varat izmantot savu jauno modeli kā privātu modeli mūsu API.

GPT-J precizēšana NLP mākonī

Pats precizēšanas process ir bezmaksas, un pēc tam jums ir jāizvēlas precizēšanas plāns atkarībā no tā. pieprasījumu apjomu, ko vēlaties veikt ar savu jauno izvietoto modeli.

Ja nevēlaties tērēt pārāk daudz laika precizēšanas un izvietošanas operācijām, ir iespējams. ko varētu apsvērt.

Secinājums

GPT-J ir pārsteidzošs dabiskās valodas apstrādes modelis. Sajaucot to ar mācīšanos un smalku regulēšanu, jūs iegūsiet vismodernāko mākslīgā intelekta lietojumprogrammu!

Ja jums ir jautājumi, lūdzu, sazinieties ar mums.

Julien Salinas
NLP Cloud tehniskais direktors