V oblaku NLP Cloud smo želeli preveriti, ali je mogoče model GPT-J natančno prilagoditi kot model navodil za pravilno razumevanje človeških navodil v naravnem jeziku, ne da bi pri tem uporabili učenje z nekaj posnetki. Drugi poskusi so v odprtokodni skupnosti dali zanimive rezultate, kot so Flan-T5, BloomZ ali Stanford Alpaca, zato smo želeli narediti enako za GPT-J z uporabo nabora podatkov Alpaca. Rezultati so zelo dobri!
Generativni modeli umetne inteligence privzeto ne razumejo dobro človeških zahtev.
Da bi ti modeli za ustvarjanje besedila razumeli, kaj želite, je najboljša rešitev uporaba učenja z nekaj posnetki. Pripravili smo poseben vodnik o učenju z nekaj posnetki najdete ga tukaj. GPT-J je dober primer zelo zmogljivega modela, ki pravilno deluje le pri učenju z nekaj posnetki.
Čeprav sestavljanje teh primerov običajno ne vzame veliko časa, je za novince, ki želijo pravilno uporabljati te modele umetne inteligence, še vedno zelo zmedeno. Veliko lažje je stvari vprašati naravno, kot bi to storili pri človeku.
Recimo, da želite popraviti pravopisne napake s programom GPT-J. Tukaj je primer poziva, ki ga morate uporabiti:
I love goin to the beach.
Correction: I love going to the beach.
###
Let me hav it!
Correction: Let me have it!
###
It have too many drawbacks.
Correction: It has too many drawbacks.
###
I do not wan to go
Correction:Kot lahko vidite, to ni zapleteno, vendar tudi ne preprosto. Če GPT-J ustrezno prilagodite, ga lahko spremenite v model "navodil", kar pomeni, da lahko zdaj vprašate naslednje:
Correct spelling and grammar from the following text.
I do not wan to goIn vrnil bi naslednje:
I do not want to go.Veliko bolje, kajne? Kako lahko to dosežemo?
Pred nekaj dnevi je bila izdana knjiga Stanford Alpaca. Gre za izpopolnjeno različico modela Llama, ki ga je razvil Facebook. Več o tem projektu si oglejte tukaj.
Ekipi Stanford Alpaca je v bistvu uspelo ustvariti najsodobnejši model navodil z natančnim uglaševanjem Lame na precej majhnem naboru podatkov (52 tisoč primerov), sestavljenem iz človeških navodil. Zanimivo je, da so ta nabor podatkov ustvarili programsko z uporabo večjega jezikovnega modela (GPT-3). Podatkovni niz lahko prenesete tukaj.
V oblaku NLP Cloud smo s tem naborom podatkov poskušali izboljšati GPT-J in dobili presenetljivo dobre rezultate!
Novi model Instruct GPT-J, ki smo ga ustvarili, je zdaj na vozlišču Hugging Face, zato ga lahko preprosto uporabite: Kliknite tukaj za ogled modela.
Tukaj je prikazano, kako lahko model uporabite z orodjem Hugging Face Transformers:
from transformers import pipeline
import torch
generator = pipeline(model="nlpcloud/instruct-gpt-j-fp16", torch_dtype=torch.float16, device=0)
prompt = "Correct spelling and grammar from the following text.\nI do not wan to go\n"
print(generator(prompt))
Tukaj je nekaj pobud, ki jih lahko preizkusite:
Write a short story about space.\nGenerate a C++ program that sorts a list of integers in ascending order.\nParaphrase the following text.\nAfter a war lasting 20 years, following the decision taken first by President Trump and then by President Biden to withdraw American troops, Kabul, the capital of Afghanistan, fell within a few hours to the Taliban, without resistance.\nSummarize the following text.\nFor all its whizz-bang caper-gone-wrong energy, and for all its subsequent emotional troughs, this week’s Succession finale might have been the most important in its entire run. Because, unless I am very much wrong, Succession – a show about people trying to forcefully mount a succession – just had its succession. And now everything has to change. The episode ended with Logan Roy defying his children by selling Waystar Royco to idiosyncratic Swedish tech bro Lukas Matsson. It’s an unexpected twist, like if King Lear contained a weird new beat where Lear hands the British crown to Jack Dorsey for a laugh, but it sets up a bold new future for the show. What will happen in season four? Here are some theories. Season three of Succession picked up seconds after season two ended. It was a smart move, showing the immediate swirl of confusion that followed Kendall Roy’s decision to undo his father, and something similar could happen here. This week’s episode ended with three of the Roy siblings heartbroken and angry at their father’s grand betrayal. Perhaps season four could pick up at that precise moment, and show their efforts to reorganise their rebellion against him. This is something that Succession undoubtedly does very well – for the most part, its greatest moments have been those heart-thumping scenes where Kendall scraps for support to unseat his dad – and Jesse Armstrong has more than enough dramatic clout to centre the entire season around the battle to stop the Matsson deal dead in its tracks.\nUpoštevajte, da morate zaradi načina, kako je bil ta model prilagojen, na koncu navodil vedno uporabiti nove vrstice.
Ta model je različica fp16 našega natančno nastavljenega modela, ki zelo dobro deluje na grafičnem procesorju s 16 GB VRAM, kot je NVIDIA Tesla T4.
Med različicama fp32 in fp16 nismo opazili nobene razlike v kakovosti.
GPT-J je bil že prej zelo dober model, zdaj pa je še boljši, če se uporablja kot model za poučevanje.
S to tehniko lahko zdaj vsakdo spremeni svoj generativni model umetne inteligence v model za poučevanje!
Če imate vprašanja ali komentarje v zvezi z zgoraj navedenim, se obrnite na nas!.
François
Podatkovni znanstvenik v NLP Cloud