Reglarea fină a GPT-J, alternativa open-source GPT-3

Puterea GPT-J

De când a fost lansat în iunie 2021, GPT-J a atras tone de utilizatori de procesare a limbajului natural - cercetători de date. sau dezvoltatori - care cred că acest model puternic de Procesare a limbajului natural îi va ajuta să își ducă aplicația de inteligență artificială la nivel de nivelul următor (vezi site-ul EleutherAI).

Logo-ul lui EleutherAI

GPT-J este atât de puternic deoarece a fost antrenat pe 6 miliarde de parametri. Consecința este că acesta este un model foarte versatil pe care îl puteți utiliza pentru aproape orice caz de utilizare avansată a procesării limbajului natural (analiză de sentimente, analiză de text clasificare a textului, clasificare a textului, chatbots, traducere, generare de coduri, generare de parafraze și multe altele). Atunci când este reglat în mod corespunzător, GPT-J este atât de fluent încât este imposibil să spui că textul este generat de o mașină...

Este posibil să adaptați cu ușurință GPT-J la cazul dvs. de utilizare, utilizând așa-numita tehnică (vezi cum se utilizează aici). Cu toate acestea, dacă învățarea în câteva focuri nu este suficientă, trebuie să apelați la o tehnică mai avansată: reglajul fin.

Ce este Fine-Tuning?

Când vine vorba de crearea propriului model, tehnica tradițională constă în formarea unui nou model din de la zero cu propriile date. Problema este că modelele moderne, cum ar fi GPT-J, sunt atât de mari încât este aproape imposibil pentru oricine să antreneze acest model de la zero. EleutherAI a declarat că le-a luat 5 săptămâni pentru a antrena GPT-J pe TPU v3-256, ceea ce înseamnă că a costat sute de mii de dolari...

Vestea bună este că nu este necesară o reeducare a GPT-J, deoarece avem reglajul fin! Reglarea fină se referă la luarea modelului GPT-J existent și adaptarea ușoară a acestuia. În trecut, antrenarea modelelor tradiționale de procesare a limbajului natural de la zero necesita tone de exemple. Cu noua generație de modele bazate pe Transformer, este diferit: sunt necesare mai puține exemple și pot duce la rezultate excelente. Dacă ați auzit vreodată de "învățare prin transfer", despre asta este vorba.

Cum se ajustează GPT-J?

Chiar dacă reglarea fină a GPT-J este mult mai ușoară decât antrenarea modelului de la zero, este totuși o provocare. din mai multe motive:

• • Este o operațiune foarte intensivă care poate dura foarte mult pe GPU. Cea mai bună opțiune este de a utiliza un TPU pentru aceasta.
• • Procesul de reglare fină necesită ceva practică, unii parametri trebuie să fie ajustați și puteți ajunge cu ușurință la o precizie suboptimală.
• • Odată ce aveți noul model bine pus la punct, nu s-a terminat: trebuie să îl implementați și să îl să îl utilizați în mod fiabil în producție.

Dacă doriți să ajustați singur GPT-J, iată cum puteți face acest lucru:

• • Urmați instrucțiunile de la echipa Mesh Transformer Jax aici.
• • Asigurați-vă că efectuați reglajul fin pe un TPU V3, deoarece veți rămâne fără memorie pe un TPU V2. Puteți solicita un acces gratuit la TPU timp de 1 lună datorită programului TPU research cloud (TRC).
• • Nu uitați să vă transformați rezultatul într-o versiune GPT-J subțire, mai potrivită pentru producție. de inferență.

Reglarea fină a GPT-J pe NLP Cloud

La NLP Cloud am muncit din greu la o platformă de perfecționare pentru GPT-J. Acum este posibil să se facă cu ușurință reglajul fin GPT-J: încărcați pur și simplu setul de date care conține exemplele dvs. și lăsați-ne să ajustăm și să implementăm modelul pentru dumneavoastră. Odată ce procesul este finalizat, puteți utiliza noul dvs. model ca model privat pe API-ul nostru.

GPT-J Fine-Tuning pe NLP Cloud

Procesul de reglare fină în sine este gratuit, iar apoi trebuie să selectați un plan de reglare fină în funcție de volumului de solicitări pe care doriți să le faceți pe modelul nou implementat.

Dacă nu doriți să petreceți prea mult timp cu operațiunile de reglaj fin și de implementare, este o opțiune pe care ați putea dori să o luați în considerare.

Concluzie

GPT-J este un model uimitor de procesare a limbajului natural. Dacă îl combinați cu învățarea în câteva momente și reglajul fin, veți obține o aplicație de ultimă generație de inteligență artificială!

Dacă aveți întrebări, vă rugăm să nu ezitați să ne contactați.

Julien Salinas
CTO la NLP Cloud