Kaip sukurti pokalbių robotą naudojant generatyvinius modelius, tokius kaip GPT-4, ChatGPT, LLaMA 3 ir Mixtral 8x7b

"LLaMA 3" ir "Mixtral 8x7b": atvirojo kodo alternatyvos "ChatGPT" ir "GPT-4

"ChatGPT" ir "GPT-4" yra du pažangūs kalbos modeliai, kuriuos sukūrė "OpenAI". "ChatGPT", sutrumpintai "Chat Generative Pre-training Transformer" (angl. "Chat Generative Pre-training Transformer"), yra didelės apimties kalbos modelis, kuris pagal mokymo duomenis gali generuoti panašų į žmogaus tekstą. Jis buvo pristatytas 2022 m. lapkričio mėn. ir greitai sulaukė didelio dėmesio dėl savo gebėjimo bendrauti su naudotojais pokalbio būdu, atsakant į klausimus, teikiant informaciją ir atliekant įvairias užduotis.

GPT-4, arba "Generative Pre-training Transformer 4", yra GPT-3 įpėdinis, apie kurį "OpenAI" paskelbė 2023 m. kovo mėn. Jis yra didelis šuolis dirbtinio intelekto kalbos modelių srityje, pasižymintis dar didesniu dydžiu ir didesnėmis galimybėmis, palyginti su savo pirmtakais. GPT-4 gali generuoti labai detalų ir tikslų tekstą įvairiose srityse, įskaitant natūralios kalbos apdorojimą, kompiuterinį programavimą ir kūrybinį rašymą.

Tiek "ChatGPT", tiek "GPT-4" yra apmokyti iš didžiulių duomenų kiekių, naudojant nekontroliuojamąjį mokymąsi, todėl jie gali suprasti ir kurti žmonių kalbą nepaprastai tiksliai ir sklandžiai. Šie modeliai atvėrė naujas galimybes kurti pokalbių dirbtinį intelektą, kurti turinį ir įvairias kitas programas tokiose pramonės šakose kaip klientų aptarnavimas, švietimas ir pramogos.

Netrukus po to "Meta" išleido "LLaMA 3", o Prancūzijos dirbtinio intelekto startuolis "Mistral AI" - "Mixtral 8x7b". Šie generatyviniai modeliai yra atvirojo kodo alternatyvos ChatGPT ir GPT-4. Jie yra labai geri kandidatai, jei norite sukurti pažangų pokalbių robotą. Galite įdiegti LLaMA 3 ir Mixtral savo serveriuose arba lengvai naudoti juos naudodami NLP Cloud API.

Vis dėlto visiems šiems generatyvinio AI LLM reikia šiek tiek praktikos. Pirmiausia todėl, kad šiems modeliams reikia pateikti tinkamus nurodymus, kad jie elgtųsi taip, kaip tikimasi. Taip pat todėl, kad jie yra "be būsenos", t. y. jie neišsaugo jūsų pokalbių istorijos.

Tinkamos užklausos naudojimas jūsų pokalbių robotui

Jei naiviai siųsite užklausas šiems modeliams be konteksto ir formatavimo, atsakymai jus nuvils. Taip yra todėl, kad šie modeliai yra labai universalūs. Jie gali padėti ne tik kurti pokalbių robotus, bet ir daugelį kitų programų, pavyzdžiui, atsakyti į klausimus, apibendrinti, perfrazuoti, klasifikuoti, išgauti esybes, kurti produktų aprašymus ir daugelį kitų. Taigi pirmiausia reikia pasakyti modeliui, kokį "režimą" jis turėtų priimti.

Pateikiame užklausos pavyzdį, kurį galėtumėte išsiųsti:

This is a discussion between a [human] and an [ai]. 
The [ai] is very nice and empathetic.

[human]: I broke up with my girlfriend...
[robot]:
            

Šiame pavyzdyje galite atkreipti dėmesį į 2 dalykus.

Pirmiausia pridėjome paprastą formatavimą, kad modelis suprastų, jog jis veikia pokalbio režimu: ([human], [ai], ...).

Antra, viršuje pridėjome šiek tiek konteksto, kad modelis suprastų, ką jis daro ir kokiu tonu turėtų kalbėti.:

Kad šis procesas būtų paprastesnis, "OpenAI" ir "NLP Cloud" siūlo specialius pokalbių robotų API galinius taškus, kurie pasirūpins šiuo formatavimu už jus.

Kartais konteksto nepakanka. Pavyzdžiui, įsivaizduokite, kad norite sukurti pokalbių robotą, kurio tonas ir charakteris būtų labai specifinis. Tokiu atveju norėsite tiksliai suderinti savo generatyvinį modelį. Generatyviniu dirbtiniu intelektu pagrįstą savo pokalbių robotą galite tiksliai sureguliuoti "OpenAI" ir "NLP Cloud".

Kitas scenarijus - kai norite sukurti pokalbių robotą, kuris atsakytų į klausimus apie konkrečios srities žinias. Tokiu atveju tikslus derinimas nėra tinkamas sprendimas. Vietoj to norėsite sukurti savo paieškos papildytą generavimo sistemą (RAG), pagrįstą semantine paieška. Žr. mūsų specialų straipsnį apie RAG ir semantinę paiešką čia.

Pokalbių istorijos palaikymas pokalbių robotui

Generatyviniai dirbtinio intelekto modeliai yra "be būsenos" modeliai, t. y. kiekviena jūsų užklausa yra nauja ir dirbtinis intelektas nieko neprisimena apie ankstesnes jūsų užklausas.

Daugeliui naudojimo atvejų tai nėra problema (apibendrinimas, klasifikavimas, perfrazavimas...), tačiau kalbant apie pokalbių robotus, tai neabejotinai problema, nes norime, kad mūsų pokalbių robotas įsimintų diskusijų istoriją ir galėtų pateikti tinkamesnius atsakymus.

Pavyzdžiui, jei dirbtiniam intelektui pasakysite, kad esate programuotojas, norite, kad jis tai išsaugotų atmintyje, nes tai turės įtakos tolesniems jo atsakymams.

Geriausias būdas tai pasiekti - kiekvieną dirbtinio intelekto atsakymą saugoti vietinėje duomenų bazėje. Pavyzdžiui, PostgreSQL duomenų bazė palaiko ilgų tekstų saugojimą ir yra labai efektyvi.

Tada kiekvieną kartą, kai pokalbių robotui pateikiate naują užklausą, turėtumėte atlikti šiuos veiksmus:

• 1. Pokalbių istorijos gavimas iš vietinės duomenų bazės
• 2. Į pokalbių istoriją įtraukite faktinę užklausą
• 3. Siųsti visą užklausą
• 4. Vietinėje duomenų bazėje senąją istoriją pakeiskite AI atsakymu.

Tai universali ir patikima sistema, nereikalaujanti daug pastangų ir puikiai išnaudojanti generatyvinių modelių, tokių kaip GPT-4, ChatGPT, LLaMA 3 ir Mixtral, galimybes.

Svarbu atkreipti dėmesį, kad kiekvienas modelis turi savo konteksto dydį, nuo kurio priklauso, kiek teksto galite perduoti į istoriją. Pavyzdžiui, dabartinis "GPT-4" konteksto dydis yra 8 tūkst. ženklų (t. y. daugiau ar mažiau 7 tūkst. žodžių), o dabartinis "Mixtral 8x7b" konteksto dydis "NLP Cloud" sistemoje yra 16 tūkst. ženklų (t. y. daugiau ar mažiau 14 tūkst. žodžių). Taigi, jei jūsų pokalbių istorija viršija šį dydį, galbūt norėsite sutrumpinti seniausią istorijos dalį arba išsaugoti tik svarbiausias diskusijų dalis.

Pokalbių roboto turinio apribojimai

Siekdama užtikrinti, kad dirbtinio intelekto sukurtas tekstas atitiktų jų gaires, "OpenAI" įdiegė "ChatGPT" ir "GPT-4" turinio apribojimus. Stebėdama ir reguliuodama pokalbių robotų generuojamą turinį, "OpenAI" siekia sukurti pozityvesnę ir patikimesnę naudotojų patirtį. Tai apima informacijos tam tikromis temomis užklausų blokavimą arba tik iš anksto patikrintos, patikimos informacijos pateikimą.

Tačiau kai kurie mieliau renkasi generatyvinius modelius, kuriems netaikomi tokie apribojimai, ir mano, kad atsakymų kokybė yra įvairesnė ir tikslesnė. LLaMA 3 ir Mixtral 8x7b tokių apribojimų neturi. Naudojant tokius dirbtinio intelekto modelius, kūrėjas privalo atsakingai naudoti dirbtinį intelektą. Jei reikia, apribojimus vis tiek galima įgyvendinti sukuriant pokalbių robotui tinkamą užklausą, patikslinant savo pokalbių robotą arba filtruojant naudotojų užklausas prieš joms pasiekiant dirbtinio intelekto modelį.

Išvada

Generatyviniai AI modeliai, tokie kaip GPT-4, ChatGPT, LLaMA 3 ir Mixtral 8x7b, iš tiesų pakėlė pokalbių robotus ir pokalbių AI į kitą lygį. Šie pažangūs modeliai labai gerai supranta kontekstą ir prie jo prisitaiko. Daugeliu atvejų užtenka nustatyti tinkamą kontekstą, tačiau pažengusiems naudojimo atvejams geriausias sprendimas yra apmokyti ir (arba) tiksliai sureguliuoti savo dirbtinio intelekto modelį (o tai gana paprasta, nes šiems modeliams reikia labai mažų duomenų rinkinių).

"NLP Cloud" galite lengvai išbandyti LLaMA 3 ir "Mixtral 8x7b", be kitų modelių. Taip pat galite juos tiksliai suderinti ir vienu spustelėjimu įdiegti savo asmeninius generatyvinius dirbtinio intelekto modelius. Jei to dar nepadarėte, išbandykite "NLP Cloud" nemokamai.

Jei turite klausimų, kaip įdiegti savo pokalbių robotą, nedvejodami susisiekite su mumis!