GPT-J, GPT-3 avatud lähtekoodiga alternatiiv, peenhäälestamine

GPT-J võimsus

Alates selle vabastamisest 2021. aasta juunis on GPT-J meelitanud ligi hulgaliselt loomuliku keele töötlemise kasutajaid - andmeteadlasi või arendajad -, kes usuvad, et see võimas loodusliku keele töötlemise mudel aitab neil viia oma tehisintellekti rakenduse järgmisele tasemele (vt EleutherAI veebisait).

EleutherAI logo

GPT-J on nii võimas, sest see on koolitatud 6 miljardi parameetriga. Selle tulemusena on see väga mitmekülgne mudel, mida saab kasutada peaaegu kõikide arenenud loodusliku keeletöötluse kasutusjuhtumite jaoks (sentimentaalanalüüs, tekstianalüüs, teksti klassifitseerimine, juturobotid, tõlkimine, koodide genereerimine, parafraaside genereerimine ja palju muud). Kui see on õigesti häälestatud, GPT-J on nii sujuv, et on võimatu öelda, et tekst on masina poolt genereeritud...

GPT-J on võimalik hõlpsasti kohandada oma kasutusjuhtumile, kasutades nn tehnikat (vaata, kuidas seda kasutada siin). Kui aga väheste laskude õppimine ei ole piisab, peate kasutama edasijõudnumat tehnikat: peenhäälestustehnikat.

Mis on peenhäälestus?

Kui tegemist on oma mudeli loomisega, siis traditsiooniline tehnika seisneb uue mudeli treenimises alates nullist, kasutades oma andmeid. Probleem on selles, et moodsad mudelid, nagu GPT-J, on nii suured, et see on peaaegu kellelgi on võimatu seda mudelit nullist välja õpetada. EleutherAI ütles, et neil kulus 5 nädalat, et treenida GPT-J TPU-del v3-256, mis tähendab, et see maksis sadu tuhandeid dollareid...

Hea uudis on see, et GPT-J ümberõpetamine ei ole vajalik, sest meil on peenhäälestus! Peenhäälestus on umbes olemasoleva GPT-J mudeli kasutamine ja selle mõningane kohandamine. Varem on traditsiooniliste loodusliku keele töötlemise mudelite treenimine nullist alustades kulus tohutul hulgal näiteid. Uue põlvkonna Transformeril põhinevate mudelite puhul on see teisiti: vaja on vähem näiteid ja see võib viia suurepäraste tulemusteni. Kui te olete kunagi kuulnud "ülekandeõppimisest", siis on tegemist just sellega.

Kuidas häälestada GPT-J?

Isegi kui GPT-J peenhäälestamine on palju lihtsam kui mudeli treenimine nullist, on see siiski väljakutse. mitmel põhjusel:

• • See on väga arvutusmahukas operatsioon, mis võib GPU-l olla piinlikult pikk. Parim variant on kasutada selleks TPU-d.
• • Peenhäälestusprotsess nõuab mõningast harjutamist, mõningaid parameetreid tuleks sättida ja te võite kergesti lõppeda suboptimaalse täpsusega.
• • Kui teil on oma uhiuus peenhäälestatud mudel, ei ole see veel lõppenud: te peate selle kasutusele võtma ja seda usaldusväärselt tootmises kasutada.

Kui soovite GPT-J-d ise peenhäälestada, saate seda teha järgmiselt:

• • Järgige kuidas Mesh Transformer Jaxi meeskonnalt siin.
• • Veenduge, et teete peenhäälestuse TPU V3-l, sest TPU V2-l saab mälu otsa. Tänu TPU uurimispilve (TRC) programmile saate küsida tasuta TPU juurdepääsu 1 kuu jooksul.
• • Ärge unustage, et muuta oma tulemus õhukeseks GPT-J versiooniks, mis sobib paremini tootmiseks. järelduste tegemiseks.

GPT-J peenhäälestamine NLP Cloudis

NLP Cloudis töötasime kõvasti GPT-J peenhäälestusplatvormi kallal. Nüüd on võimalik hõlpsasti peenhäälestada GPT-J: laadige lihtsalt üles oma näidiseid sisaldav andmekogum ning laske meil häälestada ja kasutusele võtta mudelit teie jaoks. Kui protsess on lõppenud, saate oma uut mudelit kasutada meie API-s privaatse mudelina.

GPT-J peenhäälestus NLP Cloudis

Peenhäälestusprotsess ise on tasuta ja seejärel peate valima peenhäälestusplaani sõltuvalt taotluste mahust, mida soovite teha oma äsja kasutusele võetud mudeliga.

Kui te ei soovi kulutada liiga palju aega peenhäälestus- ja kasutuselevõtutoimingutele, siis on võimalus mida võiksite kaaluda.

Kokkuvõte

GPT-J on hämmastav loodusliku keele töötlemise mudel. Segage see kokku väheste õppimise ja peenhäälestusega ning saate tipptasemel tehisintellekti rakenduse!

Kui teil on küsimusi, võtke meiega julgelt ühendust.

Julien Salinas
NLP Cloud tehnoloogiajuht