"NLP Cloud" norėjome išsiaiškinti, ar GPT-J galima tiksliai pritaikyti kaip instrukcijų modelį, kad būtų galima tinkamai suprasti žmogaus nurodymus natūralioje kalboje, nenaudojant mokymosi keliais kadrais. Kiti bandymai atvirojo kodo bendruomenėje davė įdomių rezultatų, pavyzdžiui, "Flan-T5", "BloomZ" arba Stanfordo "Alpaca", todėl norėjome tą patį padaryti su GPT-J, naudodami "Alpaca" duomenų rinkinį. Rezultatai labai geri!
Generatyviniai dirbtinio intelekto modeliai pagal nutylėjimą gerai nesupranta žmonių prašymų.
Kad šie teksto kūrimo modeliai suprastų, ko norite, geriausias sprendimas - naudoti kelių kadrų mokymąsi. Parengėme specialų vadovą apie kelių kadrų mokymąsi galite rasti čia. GPT-J yra geras pavyzdys, kad labai pajėgus modelis teisingai veikia tik mokantis iš kelių kadrų.
Nors šių pavyzdžių kūrimas paprastai neužima daug laiko, tačiau naujokams, norintiems teisingai naudoti šiuos dirbtinio intelekto modelius, tai vis tiek yra labai painu. Daug paprasčiau užduoti klausimus natūraliai, kaip tai darytumėte su žmogumi.
Tarkime, norite ištaisyti rašybos klaidas naudodami GPT-J. Štai raginimo, kurį turite naudoti, pavyzdys:
I love goin to the beach.
Correction: I love going to the beach.
###
Let me hav it!
Correction: Let me have it!
###
It have too many drawbacks.
Correction: It has too many drawbacks.
###
I do not wan to go
Correction:Kaip matote, tai nėra sudėtinga, bet ir ne paprasta. Tinkamai suderinus GPT-J, jį galima paversti "nurodomuoju" modeliu, o tai reiškia, kad dabar galite užduoti tokius klausimus:
Correct spelling and grammar from the following text.
I do not wan to goIr jis grąžintų tokį rezultatą:
I do not want to go.Daug geriau, ar ne? Kaip tai pasiekti?
Stanfordo alpaka buvo išleista prieš kelias dienas. Tai patobulinta "Facebook" sukurto modelio "Llama" versija. Daugiau apie šį projektą skaitykite čia.
Iš esmės Stenfordo "Alpakos" komandai pavyko sukurti moderniausią instrukcijų modelį, tiksliai suderinus "Llama" su gana nedideliu duomenų rinkiniu (52 tūkst. pavyzdžių), sudarytu iš žmogaus instrukcijų. Įdomu tai, kad šį duomenų rinkinį jie sukūrė programiškai, naudodami didesnį kalbos modelį (GPT-3). Duomenų rinkinį galite atsisiųsti čia.
"NLP Cloud" pabandėme pritaikyti GPT-J naudodami šį duomenų rinkinį ir gavome stebėtinai gerų rezultatų!
Mūsų sukurtas naujasis "Instruct GPT-J" modelis dabar yra "Hugging Face Hub", kad galėtumėte juo lengvai naudotis: spustelėkite čia, jei norite pamatyti modelį.
Štai kaip galite naudoti modelį, naudodami "Hugging Face Transformers":
from transformers import pipeline
import torch
generator = pipeline(model="nlpcloud/instruct-gpt-j-fp16", torch_dtype=torch.float16, device=0)
prompt = "Correct spelling and grammar from the following text.\nI do not wan to go\n"
print(generator(prompt))
Štai keletas užuominų, kurias galite išbandyti:
Write a short story about space.\nGenerate a C++ program that sorts a list of integers in ascending order.\nParaphrase the following text.\nAfter a war lasting 20 years, following the decision taken first by President Trump and then by President Biden to withdraw American troops, Kabul, the capital of Afghanistan, fell within a few hours to the Taliban, without resistance.\nSummarize the following text.\nFor all its whizz-bang caper-gone-wrong energy, and for all its subsequent emotional troughs, this week’s Succession finale might have been the most important in its entire run. Because, unless I am very much wrong, Succession – a show about people trying to forcefully mount a succession – just had its succession. And now everything has to change. The episode ended with Logan Roy defying his children by selling Waystar Royco to idiosyncratic Swedish tech bro Lukas Matsson. It’s an unexpected twist, like if King Lear contained a weird new beat where Lear hands the British crown to Jack Dorsey for a laugh, but it sets up a bold new future for the show. What will happen in season four? Here are some theories. Season three of Succession picked up seconds after season two ended. It was a smart move, showing the immediate swirl of confusion that followed Kendall Roy’s decision to undo his father, and something similar could happen here. This week’s episode ended with three of the Roy siblings heartbroken and angry at their father’s grand betrayal. Perhaps season four could pick up at that precise moment, and show their efforts to reorganise their rebellion against him. This is something that Succession undoubtedly does very well – for the most part, its greatest moments have been those heart-thumping scenes where Kendall scraps for support to unseat his dad – and Jesse Armstrong has more than enough dramatic clout to centre the entire season around the battle to stop the Matsson deal dead in its tracks.\nAtkreipkite dėmesį, kad, atsižvelgiant į tai, kaip buvo sureguliuotas šis modelis, instrukcijų pabaigoje visada turėtumėte naudoti naujas eilutes.
Šis modelis yra mūsų suderinto modelio fp16 versija, kuri puikiai veikia su 16 GB VRAM turinčiu GPU, pavyzdžiui, "NVIDIA Tesla T4".
Nepastebėjome jokio skirtumo tarp fp32 ir fp16 versijų kokybės požiūriu.
GPT-J jau buvo labai geras modelis, o dabar jis dar geresnis, kai naudojamas kaip mokomasis modelis.
Naudodamasis šiuo metodu kiekvienas dabar gali savo dirbtinio intelekto generatyvinį modelį paversti instruktuojamuoju modeliu!
Jei turite klausimų ar pastabų apie tai, kas išdėstyta pirmiau, nedvejodami kreipkitės!.
François
NLP debesies duomenų mokslininkas