Kako ustvariti klepetalnega robota z generativnimi modeli, kot so GPT-4, ChatGPT, LLaMA 3 in Mixtral 8x7b

LLaMA 3 in Mixtral 8x7b: odprtokodni alternativi ChatGPT in GPT-4

ChatGPT in GPT-4 sta dva napredna jezikovna modela, ki ju je razvil OpenAI. ChatGPT, kratica za "Chat Generative Pre-training Transformer", je velik jezikovni model, ki lahko na podlagi podatkov za usposabljanje ustvari človeku podobno besedilo. Predstavljen je bil novembra 2022 in je hitro pridobil široko pozornost zaradi svoje zmožnosti pogovorne interakcije z uporabniki, odgovarjanja na vprašanja, zagotavljanja informacij in sodelovanja pri različnih nalogah.

GPT-4 ali "Generative Pre-training Transformer 4" je naslednik GPT-3, ki ga je OpenAI napovedal marca 2023. Predstavlja pomemben preskok na področju jezikovnih modelov umetne inteligence, saj se v primerjavi s predhodniki ponaša s še večjo velikostjo in izboljšanimi zmogljivostmi. GPT-4 lahko ustvarja zelo podrobna in natančna besedila na številnih področjih, vključno z obdelavo naravnega jezika, računalniškim programiranjem in ustvarjalnim pisanjem.

Tako ChatGPT kot GPT-4 sta usposobljena na velikih količinah podatkov z nenadzorovanim učenjem, kar jima omogoča izjemno natančno in tekoče razumevanje in ustvarjanje človeškega jezika. Ta modela sta odprla nove možnosti za razvoj pogovorne umetne inteligence, ustvarjanje vsebin in različne druge aplikacije v panogah, kot so storitve za stranke, izobraževanje in zabava.

Kmalu zatem je Meta izdala LLaMA 3, francosko zagonsko podjetje Mistral AI pa Mixtral 8x7b. Ta generativna modela sta odprtokodni alternativi modeloma ChatGPT in GPT-4. So zelo dobri kandidati, če želite zgraditi naprednega klepetalnega robota. LLaMA 3 in Mixtral lahko namestite na lastne strežnike ali pa ju preprosto uporabite prek vmesnika API NLP Cloud.

Vse te generativne diplome LLM za umetno inteligenco pa zahtevajo nekaj vaje. Najprej zato, ker je treba tem modelom dati prave napotke, da se bodo obnašali po pričakovanjih. Pa tudi zato, ker so "brez stanja", kar pomeni, da ne hranijo zgodovine vaših pogovorov.

Uporaba pravega poziva za klepetalnega robota

Če tem modelom naivno pošljete zahtevke brez konteksta in oblikovanja, boste nad odgovori razočarani. Ti modeli so namreč zelo vsestranski. Ne pomagajo le pri ustvarjanju klepetalnih robotov, temveč tudi pri številnih drugih aplikacijah, kot so odgovarjanje na vprašanja, povzemanje, parafraziranje, klasifikacija, ekstrakcija entitet, ustvarjanje opisov izdelkov in še veliko več. Prva stvar, ki jo morate storiti, je torej, da modelu poveste, kateri "način" naj sprejme.

Tukaj je primer zahtevka, ki ga lahko pošljete:

This is a discussion between a [human] and an [ai]. 
The [ai] is very nice and empathetic.

[human]: I broke up with my girlfriend...
[robot]:
            

V tem primeru lahko opazite dve stvari.

Najprej smo dodali preprosto oblikovanje, da bi model razumel, da je v pogovornem načinu: ([human], [ai], ...).

Drugič, na vrhu smo dodali nekaj konteksta, da bi modelu pomagali razumeti, kaj počne in kakšen ton mora uporabiti.:

Da bi ta postopek poenostavili, tako OpenAI kot NLP Cloud predlagata namenske končne točke API za klepetalnike, ki za vas poskrbijo za to oblikovanje.

Včasih kontekst ni dovolj. Predstavljajte si na primer, da želite ustvariti klepetalnega robota z zelo specifičnim tonom in značajem. V tem primeru boste želeli natančno prilagoditi lasten generativni model. Lastnega klepetalnega robota, ki temelji na generativni umetni inteligenci, lahko natančno prilagodite v storitvah OpenAI in NLP Cloud.

Drug scenarij je, ko želite ustvariti klepetalnega robota, ki odgovarja na vprašanja o specifičnem domenskem znanju. V tem primeru fino prilagajanje ni rešitev. Namesto tega boste želeli ustvariti lasten sistem razširjenega iskanja (Retrieval Augmented Generation - RAG), ki bo temeljil na semantičnem iskanju. Oglejte si naš članek o RAG in semantičnem iskanju tukaj.

Vzdrževanje zgodovine pogovorov za klepetalnega robota

Generativni modeli umetne inteligence so modeli brez stanja, kar pomeni, da je vsaka vaša zahteva nova in da se umetna inteligenca ne bo spomnila ničesar o prejšnjih zahtevah.

Za številne primere uporabe to ni težava (povzemanje, razvrščanje, parafraziranje ...), vendar je pri klepetalnih robotih to vsekakor težava, saj želimo, da si naš klepetalni robot zapomni zgodovino razprav, da bi lahko pripravil ustreznejše odgovore.

Če na primer umetni inteligenci poveste, da ste programer, želite, da si to zapomni, saj bo to vplivalo na njene naslednje odzive.

Najboljši način za to je, da vsak odziv umetne inteligence shranite v lokalno zbirko podatkov. Podatkovna baza PostgreSQL na primer podpira shranjevanje dolgih besedil z zelo dobro učinkovitostjo.

Nato morate ob vsaki novi zahtevi klepetalnemu robotu narediti naslednje:

• 1. Pridobitev zgodovine pogovorov iz lokalne podatkovne zbirke
• 2. v zgodovino pogovora dodajte svojo dejansko zahtevo
• 3. Pošljite celotno zahtevo
• 4. V lokalni zbirki podatkov zamenjajte staro zgodovino z odzivom umetne inteligence

To je vsestranski in robusten sistem, ki zahteva malo truda in odlično izkorišča moč generativnih modelov, kot so GPT-4, ChatGPT, LLaMA 3 in Mixtral.

Pomembno je opozoriti, da ima vsak model svojo velikost konteksta, ki določa, koliko besedila lahko posredujete zgodovini. Na primer, trenutna velikost konteksta za GPT-4 je 8 k žetonov (tj. približno 7 k besed), trenutna velikost konteksta za model Mixtral 8x7b pa je 16 k žetonov v oblaku NLP Cloud (tj. približno 14 k besed). Če torej zgodovina pogovorov presega to vrednost, boste morda želeli skrajšati najstarejši del zgodovine ali pa ohraniti le najpomembnejše dele razprav.

Omejitve vsebine za klepetalnega robota

Organizacija OpenAI je v ChatGPT in GPT-4 uvedla omejitve vsebine, da bi zagotovila, da besedilo, ki ga generira umetna inteligenca, ustreza njihovim smernicam. S spremljanjem in urejanjem vsebine, ki jo ustvarjajo klepetalni roboti, želi OpenAI ustvariti bolj pozitivno in zanesljivo uporabniško izkušnjo. To vključuje blokiranje zahtev po informacijah o določenih temah ali zagotavljanje samo predhodno preverjenih in zaupanja vrednih informacij.

Nekateri pa raje uporabljajo generativne modele, ki nimajo takšnih omejitev, in menijo, da je kakovost odgovorov bolj raznolika in natančna. LLaMA 3 in Mixtral 8x7b takšnih omejitev nimata. Pri uporabi takšnih modelov umetne inteligence je odgovornost razvijalca, da umetno inteligenco uporablja odgovorno. Po potrebi lahko omejitve še vedno uvedete z oblikovanjem ustreznega poziva za klepetalnega robota, z natančnim prilagajanjem lastnega klepetalnega robota ali s filtriranjem uporabniških zahtevkov, preden ti dosežejo model UI.

Zaključek

Generativni modeli umetne inteligence, kot so GPT-4, ChatGPT, LLaMA 3 in Mixtral 8x7b, so klepetalne robote in pogovorno umetno inteligenco dvignili na višjo raven. Ti napredni modeli zelo dobro razumejo vaš kontekst in se mu prilagodijo. V večini primerov je dovolj, da določite pravi kontekst, za napredne primere uporabe pa je najboljša rešitev usposabljanje/izpopolnjevanje lastnega modela AI (kar je precej enostavno, saj ti modeli potrebujejo zelo majhne podatkovne zbirke).

V oblaku NLP Cloud lahko med drugim preizkusite LLaMA 3 in Mixtral 8x7b. Prav tako jih lahko natančno prilagodite in z enim klikom namestite svoje zasebne generativne modele umetne inteligence. Če tega še niste storili, preizkusite NLP Cloud brezplačno.

Če imate vprašanja o tem, kako implementirati lastnega klepetalnega robota, se obrnite na nas!