GPT-J, atvirojo kodo alternatyvos GPT-3, tobulinimas

GPT-J galia

Nuo tada, kai 2021 m. birželį buvo išleista, GPT-J pritraukė daugybę natūralios kalbos apdorojimo naudotojų - duomenų mokslininkų. arba kūrėjų, kurie tiki, kad šis galingas natūralios kalbos apdorojimo modelis padės jiems perkelti savo dirbtinio intelekto programas į aukštesnį lygį. kitą lygį (žr. EleutherAI svetainę).

EleutherAI logotipas

GPT-J yra toks galingas, nes buvo apmokytas pagal 6 milijardus parametrų. Dėl to tai yra labai universalus modelis, kurį galite naudoti beveik bet kokiam pažengusiam natūralios kalbos apdorojimo atvejui (nuotaikų analizė, teksto klasifikavimas, pokalbių robotai, vertimas, kodų generavimas, parafrazių generavimas ir daug daugiau). Tinkamai suderintas, GPT-J veikia taip sklandžiai, kad neįmanoma pasakyti, jog tekstą sugeneravo mašina...

GPT-J galima lengvai pritaikyti savo naudojimo atvejui, naudojant vadinamąjį metodą (žr., kaip juo naudotis, čia). Tačiau, jei mokymasis keliais kadrais nėra jums reikia taikyti pažangesnį metodą - tikslaus derinimo.

Kas yra tikslus derinimas?

Kai norima sukurti savo modelį, tradicinis metodas - tai naujo modelio mokymas iš modelį iš naujo, naudojant savo duomenis. Problema ta, kad šiuolaikiniai modeliai, tokie kaip GPT-J, yra tokie dideli, kad beveik neįmanoma, kad kas nors galėtų šį modelį apmokyti nuo nulio. EleutherAI teigė, kad jiems prireikė 5 savaičių apmokyti GPT-J su TPU v3-256, o tai reiškia, kad tai kainavo šimtus tūkstančių dolerių...

Gera žinia ta, kad GPT-J iš naujo mokyti nebūtina, nes mes turime tiksliąją korekciją! Tikslus derinimas yra apie paimti esamą GPT-J modelį ir šiek tiek jį pakoreguoti. Anksčiau mokant tradicinius natūralios kalbos apdorojimo modelius nuo nulio reikėdavo daugybės pavyzdžių. Naudojant naujos kartos transformatoriais pagrįstus modelius, tai kitaip: reikia mažiau pavyzdžių, o tai gali padėti pasiekti puikių rezultatų. Jei kada nors girdėjote apie "perkėlimo mokymąsi", tai ir yra tai, apie ką kalbama.

Kaip tiksliai sureguliuoti GPT-J?

Nors GPT-J sureguliuoti daug lengviau nei iš naujo mokyti modelį, tai vis tiek yra iššūkis. dėl kelių priežasčių:

• • Tai labai daug skaičiavimų reikalaujanti operacija, kuri gali būti labai ilga naudojant GPU. Geriausias variantas yra naudoti TPU.
• • Tikslaus derinimo procesas reikalauja šiek tiek praktikos, kai kuriuos parametrus reikia pakoreguoti, o jūs galite lengvai pasiekti neoptimalų tikslumą.
• • Sukūrus naują, tiksliai suderintą modelį, darbas dar nesibaigia: reikia jį įdiegti ir jį patikimai naudoti gamyboje.

Jei norite patys sureguliuoti GPT-J, štai kaip tai padaryti:

• • Vadovaukitės instrukcijomis iš "Mesh Transformer Jax" komandos čia.
• • Būtinai atlikite derinimą naudodami TPU V3, nes TPU V2 pritrūks atminties. Naudodamiesi TPU tyrimų debesies (TRC) programa galite paprašyti nemokamos 1 mėnesio TPU prieigos.
• • Nepamirškite savo rezultatą paversti plona GPT-J versija, kuri labiau tinka gamybai. išvadoms daryti.

Tikslus GPT-J derinimas NLP debesyje

"NLP Cloud" intensyviai dirbo prie "GPT-J" tobulinimo platformos. Dabar ją galima lengvai koreguoti GPT-J: tiesiog įkelkite savo duomenų rinkinį su pavyzdžiais, o mes galėsime tiksliai sureguliuoti ir įdiegti GPT-J. modelį. Kai procesas bus baigtas, savo naująjį modelį galėsite naudoti kaip privatų modelį per mūsų API.

"GPT-J" tikslinimas NLP debesyje

Pats derinimo procesas yra nemokamas, o tada reikia pasirinkti derinimo planą, atsižvelgiant į užklausų, kurias norite atlikti naujai įdiegtame modelyje, kiekį.

Jei nenorite sugaišti per daug laiko derinimo ir diegimo operacijoms, galite rinktis kurią galbūt norėsite apsvarstyti.

Išvada

"GPT-J" yra nuostabus natūralios kalbos apdorojimo modelis. Sumaišykite jį su mokymusi keliais šūviais ir tiksliu derinimu ir gausite moderniausią dirbtinio intelekto programą!

Jei turite klausimų, nedvejodami susisiekite su mumis.

Julien Salinas
NLP Cloud techninis direktorius