Messa a punto di GPT-J, l'alternativa open-source GPT-3

Il potere di GPT-J

Da quando è stato rilasciato nel giugno 2021, GPT-J ha attirato tonnellate di utenti di Natural Language Processing - scienziati dei dati o sviluppatori - che credono che questo potente modello di Natural Language Processing li aiuterà a portare la loro applicazione AI al livello successivo (vedere il sito web di EleutherAI).

GPT-J è così potente perché è stato addestrato su 6 miliardi di parametri. La conseguenza è che questo è un modello molto versatile che è possibile utilizzare per quasi tutti i casi d'uso avanzati di Natural Language Processing (analisi del sentimento, classificazione del testo classificazione del testo, chatbot, traduzione, generazione di codice, generazione di parafrasi e molto altro). Quando è sintonizzato correttamente, GPT-J è così fluente che è impossibile dire che il testo è generato da una macchina...

È possibile adattare facilmente GPT-J al vostro caso d'uso al volo utilizzando la cosiddetta tecnica (vedere come usarlo qui). Tuttavia, se l'apprendimento di pochi scatti non è sufficiente, è necessario ricorrere a una tecnica più avanzata: la messa a punto.

Cos'è il Fine-Tuning?

Quando si tratta di creare il proprio modello, la tecnica tradizionale consiste nell'addestrare un nuovo modello da zero con i propri dati. Il problema è che i modelli moderni come GPT-J sono così grandi che è quasi impossibile per chiunque addestrare questo modello da zero. EleutherAI ha detto che ci sono volute 5 settimane per addestrare GPT-J su TPUs v3-256, il che significa che è costato centinaia di migliaia di dollari...

La buona notizia è che la riqualificazione di GPT-J non è necessaria perché abbiamo il fine-tuning! Il fine-tuning consiste nel prendere il modello GPT-J esistente e adattarlo leggermente. In passato, l'addestramento di modelli tradizionali di elaborazione del linguaggio naturale da zero richiedeva tonnellate di esempi. Con la nuova generazione di modelli basati su Transformer, è diverso: sono necessari meno esempi e possono portare a grandi risultati. Se avete mai sentito parlare di "transfer-learning", si tratta di questo.

Come mettere a punto GPT-J?

Anche se la messa a punto di GPT-J è molto più facile che addestrare il modello da zero, è ancora una sfida per diverse ragioni:

• • È un'operazione molto intensiva di calcolo che può essere dolorosamente lunga sulla GPU. L'opzione migliore è utilizzare una TPU per questo.
• • Il processo di messa a punto richiede un po' di pratica, alcuni parametri devono essere modificati, e si può facilmente finire con una precisione non ottimale.
• • Una volta che avete il vostro nuovo modello messo a punto non è finita: dovete distribuirlo e usarlo in modo affidabile in produzione.

Se volete mettere a punto GPT-J da soli, ecco come potete farlo:

• • Segui le istruzioni dal team di Mesh Transformer Jax qui.
• • Assicuratevi di eseguire la messa a punto su una TPU V3, poiché la memoria di una TPU V2 si esaurirà. Potete chiedere un accesso gratuito alla TPU per 1 mese grazie al programma TPU research cloud (TRC).
• • Non dimenticate di trasformare il vostro risultato in una versione snella di GPT-J più adatta alla produzione inferenza.

Messa a punto di GPT-J su NLP Cloud

In NLP Cloud abbiamo lavorato molto su una piattaforma di messa a punto per GPT-J. Ora è possibile mettere a punto facilmente GPT-J: basta caricare il tuo dataset contenente i tuoi esempi, e lasciarci mettere a punto e distribuire il modello per voi. Una volta che il processo è finito, puoi usare il tuo nuovo modello come modello privato sulla nostra API.

Il processo di fine-tuning in sé è gratuito, e poi è necessario selezionare un piano di fine-tuning a seconda del volume di richieste che si vuole fare sul modello appena distribuito.

Se non volete spendere troppo tempo nelle operazioni di messa a punto e distribuzione, è un'opzione che potreste voler considerare.

Conclusione

GPT-J è un incredibile modello di elaborazione del linguaggio naturale. Mescolatelo con l'apprendimento e la messa a punto di pochi colpi, e otterrete un'applicazione AI allo stato dell'arte!

Se avete domande, non esitate a contattarci.

Julien Salinas
CTO di NLP Cloud