Kuidas ehitada juturobot generatiivsete mudelitega nagu GPT-4, ChatGPT, LLaMA 3 ja Mixtral 8x7b.

LLaMA 3 ja Mixtral 8x7b: avatud lähtekoodiga alternatiivid ChatGPT-le ja GPT-4-le

ChatGPT ja GPT-4 on kaks täiustatud keelemudelit, mille on välja töötanud OpenAI. ChatGPT, mis on lühend "Chat Generative Pre-training Transformer", on suur keelemudel, mis suudab treeninguandmete põhjal genereerida inimesele sarnast teksti. See võeti kasutusele 2022. aasta novembris ja sai kiiresti laialdast tähelepanu oma võime tõttu suhelda kasutajatega vestluslikult, vastates küsimustele, andes teavet ja osaledes erinevates ülesannetes.

GPT-4 ehk "Generative Pre-training Transformer 4" on GPT-3 järeltulija, mille OpenAI teatas märtsis 2023. aastal. See kujutab endast märkimisväärset hüpet tehisintellekti keelemudelite valdkonnas, olles võrreldes eelkäijatega veelgi suurema mahuga ja täiustatud võimalustega. GPT-4 on võimeline genereerima väga üksikasjalikku ja täpset teksti paljudes valdkondades, sealhulgas loomulikus keeletöötluses, arvutiprogrammeerimises ja loomingulises kirjutamises.

Nii ChatGPT kui ka GPT-4 on treenitud tohutul hulgal andmete põhjal, kasutades mittejärelevalvega õppimist, mis võimaldab neil mõista ja genereerida inimkeelt märkimisväärse täpsuse ja sujuvusega. Need mudelid on avanud uusi võimalusi vestlusliku tehisintellekti arendamiseks, sisu genereerimiseks ja mitmesuguste muude rakenduste jaoks sellistes tööstusharudes nagu klienditeenindus, haridus ja meelelahutus.

Varsti pärast seda andis Meta välja LLaMA 3 ja Prantsuse tehisintellekti idufirma Mistral AI andis välja Mixtral 8x7b. Need generatiivsed mudelid on avatud lähtekoodiga alternatiivid ChatGPT-le ja GPT-4-le. Need on väga head kandidaadid, kui soovite luua täiustatud juturobotit. LLaMA 3 ja Mixtrali saate kas oma serverites kasutusele võtta või neid hõlpsasti kasutada NLP Cloud API kaudu.

Kõik need genereeriva tehisintellekti LLM-id nõuavad siiski veidi harjutamist. Esiteks seetõttu, et nendele mudelitele tuleb anda õiged juhised, et nad käituksid ootuspäraselt. Ja ka sellepärast, et nad on "olekuta", mis tähendab, et nad ei hoia teie vestluste ajalugu.

Kasutades oma juturobotile õiget üleskutset

Kui saadate naiivselt nendele mudelitele päringuid ilma pisutki kontekstita ja vormindamiseta, siis saate vastustes pettuda. Seda seetõttu, et need mudelid on väga mitmekülgsed. Need ei aita mitte ainult luua juturobotid, vaid ka paljud muud rakendused, nagu küsimustele vastamine, kokkuvõtete tegemine, parafraseerimine, klassifitseerimine, entiteetide ekstraheerimine, tootekirjelduste genereerimine ja palju muud. Seega tuleb kõigepealt öelda mudelile, millise "režiimi" ta peaks võtma.

Siin on näide taotlusest, mille võiksite saata:

This is a discussion between a [human] and an [ai]. 
The [ai] is very nice and empathetic.

[human]: I broke up with my girlfriend...
[robot]:
            

Selle näite puhul võib märkida 2 asja.

Kõigepealt lisasime lihtsa vormingu, et mudel saaks aru, et ta on vestlusrežiimis: ([human], [ai], ...).

Teiseks lisasime ülesse konteksti, et aidata mudelil mõista, mida ta teeb ja millist tooni ta peaks kasutama.:

Selle protsessi lihtsustamiseks pakuvad nii OpenAI kui ka NLP Cloud välja spetsiaalsed juturobotite API-punktid, mis hoolitsevad teie eest selle vormindamise eest.

Mõnikord ei piisa kontekstist. Kujutage näiteks ette, et soovite luua väga spetsiifilise tooni ja iseloomuga juturobotit. Sellisel juhul soovite oma genereerivat mudelit ise peenhäälestada. OpenAIs ja NLP Cloudis saate oma genereeriva AI-l põhinevat juturobotit peenhäälestada.

Teine stsenaarium on see, kui soovite luua juturobot, mis vastab küsimustele konkreetsete valdkondlike teadmiste kohta. Sellisel juhul ei ole peenhäälestus lahendus. Selle asemel soovite luua omaenda retrieval augmented generation (RAG) süsteemi, mis põhineb semantilisel otsingul. Vaata meie spetsiaalset artiklit RAGi ja semantilise otsingu kohta siit.

Vestlusajaloo säilitamine oma vestlusroboti jaoks

Generatiivsed tehisintellekti mudelid on "olemuseta" mudelid, mis tähendab, et iga teie esitatud taotlus on uus ja tehisintellekt ei mäleta midagi teie varasematest taotlustest.

Paljude kasutusjuhtumite puhul ei ole see probleem (kokkuvõtete tegemine, klassifitseerimine, parafraasimine...), kuid juturobotite puhul on see kindlasti probleem, sest me tahame, et meie juturobot mäletaks arutelu ajalugu, et anda asjakohasemaid vastuseid.

Näiteks kui te ütlete tehisintellektile, et olete programmeerija, siis soovite, et ta seda mälus hoiaks, sest see mõjutab järgmisi vastuseid, mida ta teeb.

Parim viis selle saavutamiseks on salvestada iga tehisintellekti vastus kohalikku andmebaasi. Näiteks PostgreSQL andmebaas toetab pikkade tekstide salvestamist väga hea tõhususega.

Siis, iga kord, kui teete vestlusrobotile uue päringu, peaksite tegema järgmist:

• 1. Vestlusajaloo otsimine kohalikust andmebaasist
• 2. Lisage oma tegelik taotlus vestluse ajalukku
• 3. Saada kogu taotlus
• 4. Asendage oma kohalikus andmebaasis oma vana ajalugu AI vastusega.

See on nii mitmekülgne ja töökindel süsteem, mis nõuab vähe vaeva ja kasutab suurepäraselt ära selliste generatiivsete mudelite nagu GPT-4, ChatGPT, LLaMA 3 ja Mixtral võimsust.

Oluline on märkida, et igal mudelil on oma konteksti suurus, mis määrab, kui palju teksti saab ajalukku edastada. Näiteks GPT-4 praegune konteksti suurus on 8k tokenit (st enam-vähem 7k sõna) ja Mixtral 8x7b praegune konteksti suurus on NLP Cloudi puhul 16k tokenit (st enam-vähem 14k sõna). Seega, kui teie vestlusajalugu ületab seda, võiksite kas kärpida ajaloo vanima osa või säilitada ainult kõige olulisemad arutelude osad.

Vestlusroboti sisupiirangud

OpenAI on rakendanud ChatGPT ja GPT-4 suhtes sisupiiranguid, et tagada, et tehisintellekti loodud tekst järgib nende suuniseid. Jälgides ja reguleerides vestlusrobotite loodud sisu, soovib OpenAI luua positiivsema ja usaldusväärsema kasutajakogemuse. See hõlmab teatud teemasid käsitlevate teabenõuete blokeerimist või ainult eelnevalt kontrollitud ja usaldusväärse teabe pakkumist.

Mõned eelistavad siiski kasutada generatiivseid mudeleid, millega ei kaasne selliseid piiranguid, ning leiavad, et vastuste kvaliteet on mitmekesisem ja täpsem. LLaMA 3 ja Mixtral 8x7b ei sisalda selliseid piiranguid. Selliste tehisintellekti mudelite kasutamisel on arendaja kohustus kasutada tehisintellekti vastutustundlikult. Vajaduse korral saab piiranguid ikkagi rakendada, luues vestlusroboti jaoks sobiva päringu, peenhäälestades oma vestlusroboti või filtreerides kasutaja päringuid enne, kui need jõuavad AI-mudelisse.

Kokkuvõte

Generatiivsed AI-mudelid nagu GPT-4, ChatGPT, LLaMA 3 ja Mixtral 8x7b viisid vestlusrobotid ja vestlusliku AI järgmisele tasemele. Need täiustatud mudelid on väga head konteksti mõistmisel ja sellega kohanemisel. Enamikul juhtudel piisab õige konteksti seadmisest, kuid edasijõudnud kasutusjuhtumite puhul on parim lahendus oma tehisintellekti mudeli treenimine ja häälestamine (mis on üsna lihtne, sest need mudelid nõuavad väga väikeseid andmekogumeid).

NLP Cloudis saate teiste mudelite hulgas hõlpsasti proovida LLaMA 3 ja Mixtral 8x7b. Saate neid ka peenhäälestada ja oma isiklikke genereerivaid tehisintellekti mudeleid ühe klõpsuga kasutusele võtta. Kui sa pole veel teinud, proovi NLP Cloudi tasuta.

Kui teil on küsimusi selle kohta, kuidas oma chatbotit rakendada, võtke meiega julgelt ühendust!