NLP Cloudis tahtsime näha, kas GPT-J on võimalik peenhäälestada kui instruktsioonimudel, et mõista inimjuhiseid loomulikus keeles korralikult, ilma et kasutataks väheste sammude õppimist. Teised katsed on andnud huvitavaid tulemusi avatud lähtekoodiga kogukonnas, näiteks Flan-T5, BloomZ või Stanfordi Alpaca, seega tahtsime teha sama GPT-J puhul, kasutades Alpaca andmestikku. Tulemused on väga head!
Generatiivsed tehisintellekti mudelid ei ole vaikimisi head inimese taotluste mõistmisel.
Selleks, et need tekstigenereerimise mudelid saaksid aru, mida te soovite, on parim lahendus kasutada paarikordset õppimist. Tegime spetsiaalse juhendi few-shot learning'i kohta. leiad selle siit. GPT-J on hea näide väga võimekast mudelist, mis töötab korrektselt ainult mõne lasu õppimisega.
Isegi kui nende näidete loomine ei võta tavaliselt liiga palju aega, on see siiski väga segadusttekitav uustulnukatele, kes soovivad neid tehisintellekti mudeleid õigesti kasutada. Palju lihtsam on küsida asju loomulikult, nagu te teeksite inimese puhul.
Oletame näiteks, et soovite parandada õigekirjavigu GPT-J abil. Siin on näide, mida peate kasutama:
I love goin to the beach.
Correction: I love going to the beach.
###
Let me hav it!
Correction: Let me have it!
###
It have too many drawbacks.
Correction: It has too many drawbacks.
###
I do not wan to go
Correction:Nagu näete, ei ole see keeruline, kuid ei ole ka lihtne. Kui GPT-J-d korralikult peenhäälestada, saab selle muuta "juhendavaks" mudeliks, mis tähendab, et nüüd saab küsida järgmist:
Correct spelling and grammar from the following text.
I do not wan to goJa see tagastab järgmise tulemuse:
I do not want to go.Palju parem, kas pole? Kuidas me saame seda saavutada?
Stanford Alpaca on paar päeva tagasi välja lastud. Tegemist on Facebooki poolt välja töötatud Lama mudeli peenhäälestatud versiooniga. Lisateavet selle projekti kohta leiate siit.
Põhimõtteliselt õnnestus Stanfordi Alpaca meeskonnal välja töötada tipptasemel instruktsioonimudel, häälestades Llamat üsna väikese andmekogumi (52k näidet) põhjal, mis koosnes inimkäsklustest. Huvitav on see, et nad genereerisid selle andmestiku programmiliselt, kasutades suuremat keelemudelit (GPT-3). Andmekogumi saate alla laadida siit.
NLP Cloudis proovisime GPT-J-d selle andmestiku abil peenhäälestada ja saime üllatavalt häid tulemusi!
Meie loodud uus juhendmudel GPT-J on nüüd Hugging Face Hubis, nii et saate seda hõlpsasti kasutada: kliki siia, et näha mudelit.
Siin on, kuidas saab mudelit kasutada, kasutades kallistavaid näotransformaatoreid:
from transformers import pipeline
import torch
generator = pipeline(model="nlpcloud/instruct-gpt-j-fp16", torch_dtype=torch.float16, device=0)
prompt = "Correct spelling and grammar from the following text.\nI do not wan to go\n"
print(generator(prompt))
Siin on mõned üleskutsed, mida võite proovida:
Write a short story about space.\nGenerate a C++ program that sorts a list of integers in ascending order.\nParaphrase the following text.\nAfter a war lasting 20 years, following the decision taken first by President Trump and then by President Biden to withdraw American troops, Kabul, the capital of Afghanistan, fell within a few hours to the Taliban, without resistance.\nSummarize the following text.\nFor all its whizz-bang caper-gone-wrong energy, and for all its subsequent emotional troughs, this week’s Succession finale might have been the most important in its entire run. Because, unless I am very much wrong, Succession – a show about people trying to forcefully mount a succession – just had its succession. And now everything has to change. The episode ended with Logan Roy defying his children by selling Waystar Royco to idiosyncratic Swedish tech bro Lukas Matsson. It’s an unexpected twist, like if King Lear contained a weird new beat where Lear hands the British crown to Jack Dorsey for a laugh, but it sets up a bold new future for the show. What will happen in season four? Here are some theories. Season three of Succession picked up seconds after season two ended. It was a smart move, showing the immediate swirl of confusion that followed Kendall Roy’s decision to undo his father, and something similar could happen here. This week’s episode ended with three of the Roy siblings heartbroken and angry at their father’s grand betrayal. Perhaps season four could pick up at that precise moment, and show their efforts to reorganise their rebellion against him. This is something that Succession undoubtedly does very well – for the most part, its greatest moments have been those heart-thumping scenes where Kendall scraps for support to unseat his dad – and Jesse Armstrong has more than enough dramatic clout to centre the entire season around the battle to stop the Matsson deal dead in its tracks.\nPange tähele, et selle mudeli peenhäälestuse tõttu peaksite oma juhiste lõpus alati kasutama uusi ridu.
See mudel on meie peenhäälestatud mudeli fp16 versioon, mis töötab väga hästi 16 GB VRAMiga graafikaprotsessoril, nagu NVIDIA Tesla T4.
Me ei märganud kvaliteedi osas mingit erinevust fp32 ja fp16 versioonide vahel.
GPT-J oli juba varem väga hea mudel ja nüüd on see veelgi parem, kui seda kasutatakse juhendmudelina.
Igaüks saab nüüd tänu sellele tehnikale muuta oma tehisintellekti genereeriva mudeli instruktiivseks mudeliks!
Kui teil on küsimusi või kommentaare ülaltoodu kohta, võtke julgelt ühendust!.
François
NLP Cloudi andmeteadlane