GPT-J:n, GPT-3:n avoimen lähdekoodin vaihtoehdon, hienosäätöä.

GPT-J:n voima

Sen jälkeen kun GPT-J julkaistiin kesäkuussa 2021, se on houkutellut paljon Natural Language Processingin käyttäjiä - tietojenkäsittelytieteilijöitä tai kehittäjiä - jotka uskovat, että tämä tehokas luonnollisen kielen prosessointimalli auttaa heitä viemään tekoälysovelluksensa huipputasolle. seuraavalle tasolle (katso EleutherAI:n verkkosivusto).

EleutherAIn logo

GPT-J on niin tehokas, koska se on koulutettu 6 miljardilla parametrilla. Tästä seuraa, että tämä on erittäin monipuolinen malli, jota voi käyttää lähes mihin tahansa kehittyneeseen luonnollisen kielen prosessoinnin käyttötapaukseen (tunneanalyysi, tekstin luokittelu, chat-robotit, kääntäminen, koodin luominen, parafraasien luominen ja paljon muuta). Oikein viritettynä, GPT-J on niin sujuva, että on mahdotonta sanoa, että teksti on koneen tuottamaa...

GPT-J:tä on mahdollista mukauttaa helposti käyttötarkoitukseesi lennossa käyttämällä niin sanottua tekniikkaa. (katso miten sitä käytetään täältä). Jos muutaman laukauksen oppiminen ei kuitenkaan ole riittää, sinun on käytettävä edistyneempää tekniikkaa: hienosäätöä.

Mitä on hienosäätö?

Kun on kyse oman mallin luomisesta, perinteinen tekniikka on uuden mallin kouluttaminen alkaen tyhjästä omalla datalla. Ongelmana on, että nykyaikaiset mallit, kuten GPT-J, ovat niin valtavia, että se on melkeinpä kenenkään on lähes mahdotonta kouluttaa tätä mallia tyhjästä. EleutherAI:n mukaan heiltä kesti 5 viikkoa kouluttaa GPT-J:tä TPU:lla v3-256, mikä tarkoittaa, että se maksoi satoja tuhansia dollareita...

Hyvä uutinen on, että GPT-J:n uudelleenkoulutus ei ole tarpeen, koska meillä on hienosäätö! Hienosäätö tarkoittaa olemassa olevan GPT-J-mallin käyttämistä ja sen lievää mukauttamista. Aikaisemmin perinteisten luonnollisen kielen prosessointimallien kouluttaminen tyhjästä, tarvittiin tonneittain esimerkkejä. Uuden sukupolven Transformer-pohjaisilla malleilla se on... toisin: esimerkkejä tarvitaan vähemmän, ja ne voivat johtaa hyviin tuloksiin. Jos olet koskaan kuullut "siirto-oppimisesta", kyse on juuri tästä.

Miten hienosäätää GPT-J:tä?

Vaikka GPT-J:n hienosäätö on paljon helpompaa kuin mallin kouluttaminen tyhjästä, se on silti haasteellista. useista syistä:

• • Se on hyvin laskentaintensiivinen operaatio, joka voi kestää GPU:lla tuskallisen kauan. Paras vaihtoehto on käyttää TPU:ta siihen.
• • Hienosäätöprosessi vaatii jonkin verran harjoittelua, joitakin parametreja on syytä säätää, ja sinä voit päätyä helposti alioptimaaliseen tarkkuuteen.
• • Kun sinulla on upouusi hienosäädetty malli, se ei ole vielä ohi: sinun on otettava se käyttöön ja käyttää sitä luotettavasti tuotannossa.

Jos haluat hienosäätää GPT-J:n itse, voit tehdä sen seuraavasti:

• • Seuraa ohjeita Mesh Transformer Jax -tiimiltä täällä.
• • Varmista, että suoritat hienosäädön TPU V3:lla, koska TPU V2:n muisti loppuu kesken. Voit pyytää ilmaista TPU:n käyttöoikeutta 1 kuukaudeksi TPU research cloud (TRC) -ohjelman ansiosta.
• • Älä unohda muuttaa tulostasi ohueksi GPT-J-versioksi, joka soveltuu paremmin tuotantoon. päättelyyn.

GPT-J:n hienosäätö NLP Cloudissa

NLP Cloudissa työskentelimme ahkerasti GPT-J:n hienosäätöalustan parissa. Nyt on mahdollista hienosäätää helposti GPT-J:tä: lataa vain esimerkkiesi sisältävä datasettisi, ja anna meidän hienosäätää ja ottaa käyttöön mallin puolestasi. Kun prosessi on valmis, voit käyttää uutta malliasi yksityisenä mallina API-rajapintamme kautta.

GPT-J hienosäätö NLP Cloudissa

Hienosäätöprosessi itsessään on maksuton, ja sen jälkeen sinun on valittava hienosäätösuunnitelma riippuen pyyntöjen määrästä, joita haluat tehdä äskettäin käyttöönotetulle mallillesi.

Jos et halua käyttää liikaa aikaa hienosäätö- ja käyttöönottotoimintoihin, on vaihtoehtona, että jota kannattaa harkita.

Päätelmä

GPT-J on hämmästyttävä luonnollisen kielen prosessointimalli. Sekoita siihen muutaman laukauksen oppiminen ja hienosäätö, niin saat huippuluokan tekoälysovelluksen!

Jos sinulla on kysyttävää, älä epäröi ottaa meihin yhteyttä.

Julien Salinas
teknologiajohtaja, NLP Cloud