Ako vytvoriť chatbota pomocou generatívnych modelov, ako sú GPT-4, ChatGPT, LLaMA 3 a Mixtral 8x7b

LLaMA 3 a Mixtral 8x7b: open-source alternatívy k ChatGPT a GPT-4

ChatGPT a GPT-4 sú dva pokročilé jazykové modely vyvinuté spoločnosťou OpenAI. ChatGPT, skratka pre "Chat Generative Pre-training Transformer", je rozsiahly jazykový model, ktorý dokáže na základe trénovacích údajov generovať text podobný ľudskému. Bol predstavený v novembri 2022 a rýchlo si získal širokú pozornosť pre svoju schopnosť komunikovať s používateľmi konverzačným spôsobom, odpovedať na otázky, poskytovať informácie a zapájať sa do rôznych úloh.

GPT-4 alebo "Generative Pre-training Transformer 4" je nástupcom GPT-3 a spoločnosť OpenAI ho oznámila v marci 2023. Predstavuje významný skok v oblasti jazykových modelov umelej inteligencie, pričom sa v porovnaní so svojimi predchodcami môže pochváliť ešte väčšou veľkosťou a rozšírenými možnosťami. GPT-4 je schopný generovať veľmi detailný a presný text v širokom spektre oblastí vrátane spracovania prirodzeného jazyka, počítačového programovania a tvorivého písania.

ChatGPT aj GPT-4 sú vyškolené na obrovskom množstve údajov pomocou učenia bez dohľadu, čo im umožňuje porozumieť a generovať ľudský jazyk s pozoruhodnou presnosťou a plynulosťou. Tieto modely otvorili nové možnosti vývoja konverzačnej umelej inteligencie, generovania obsahu a rôznych ďalších aplikácií v odvetviach, ako sú služby zákazníkom, vzdelávanie a zábava.

Krátko nato vydala spoločnosť Meta LLaMA 3 a francúzsky startup Mistral AI vydal Mixtral 8x7b. Tieto generatívne modely sú open-source alternatívami k ChatGPT a GPT-4. Sú to veľmi dobrí kandidáti, ak chcete vytvoriť pokročilého chatbota. Modely LLaMA 3 a Mixtral môžete nasadiť na vlastných serveroch alebo ich môžete jednoducho používať prostredníctvom rozhrania NLP Cloud API.

Všetky tieto generatívne AI LLM si však vyžadujú trochu praxe. Najskôr preto, že týmto modelom treba dať správne podnety, aby sa správali podľa očakávania. A tiež preto, že sú "bezstavové", čo znamená, že si neuchovávajú históriu vašich konverzácií.

Používanie správnych výziev pre vášho chatbota

Ak naivne pošlete požiadavky týmto modelom bez určitej súvislosti a formátovania, budete sklamaní odpoveďami. Tieto modely sú totiž veľmi univerzálne. Môžu pomôcť nielen pri vytváraní chatbotov, ale aj mnohých ďalších aplikácií, ako je napríklad odpovedanie na otázky, sumarizácia, parafrázovanie, klasifikácia, extrakcia entít, generovanie opisov produktov a mnoho ďalších. Takže prvá vec, ktorú musíte urobiť, je povedať modelu, ktorý "režim" má prijať.

Tu je príklad žiadosti, ktorú môžete poslať:

This is a discussion between a [human] and an [ai]. 
The [ai] is very nice and empathetic.

[human]: I broke up with my girlfriend...
[robot]:
            

V tomto príklade si môžete všimnúť 2 veci.

Najprv sme pridali jednoduché formátovanie, aby model pochopil, že je v konverzačnom režime: ([human], [ai], ...).

Po druhé, na začiatok sme pridali kontext, aby sme modelu pomohli pochopiť, čo robí a aký tón má používať.:

Aby sa tento proces zjednodušil, OpenAI aj NLP Cloud ponúkajú špecializované koncové body chatbot API, ktoré sa o toto formátovanie postarajú za vás.

Niekedy kontext nestačí. Predstavte si napríklad, že chcete vytvoriť chatbota s veľmi špecifickým tónom a charakterom. V takom prípade budete chcieť doladiť vlastný generatívny model. Vlastného chatbota založeného na generatívnej umelej inteligencii môžete doladiť v službe OpenAI a v službe NLP Cloud.

Iný scenár je, keď chcete vytvoriť chatbota, ktorý odpovedá na otázky týkajúce sa špecifických doménových znalostí. V takom prípade nie je riešenie jemné doladenie. Namiesto toho budete chcieť vytvoriť vlastný systém rozšíreného vyhľadávania (RAG) založený na sémantickom vyhľadávaní. Pozrite si náš špecializovaný článok o RAG a sémantickom vyhľadávaní tu.

Udržiavanie histórie konverzácií pre vášho chatbota

Generatívne modely umelej inteligencie sú "bezstavové" modely, čo znamená, že každá vaša požiadavka je nová a umelá inteligencia si nebude pamätať nič o predchádzajúcich požiadavkách, ktoré ste zadali.

V mnohých prípadoch použitia to nie je problém (sumarizácia, klasifikácia, parafrázovanie...), ale pokiaľ ide o chatboty, je to určite problém, pretože chceme, aby si náš chatbot zapamätal históriu diskusie, aby mohol relevantnejšie reagovať.

Ak napríklad umelej inteligencii poviete, že ste programátor, chcete, aby si to zapamätala, pretože to bude mať vplyv na nasledujúce reakcie, ktoré bude robiť.

Najlepší spôsob, ako to dosiahnuť, je uložiť každú odpoveď umelej inteligencie do miestnej databázy. Napríklad databáza PostgreSQL podporuje ukladanie dlhých textov s veľmi dobrou účinnosťou.

Potom by ste mali vždy, keď chatbotovi zadáte novú požiadavku, vykonať nasledujúce kroky:

• 1. Získanie histórie konverzácií z miestnej databázy
• 2. Pridanie aktuálnej požiadavky do histórie konverzácie
• 3. Odoslať celú žiadosť
• 4. V miestnej databáze nahraďte svoju starú históriu odpoveďou od AI

Ide o všestranný a robustný systém, ktorý nevyžaduje veľa úsilia a dokonale využíva silu generatívnych modelov, ako sú GPT-4, ChatGPT, LLaMA 3 a Mixtral.

Je dôležité poznamenať, že každý model má vlastnú veľkosť kontextu, ktorá určuje, koľko textu môžete odovzdať do histórie. Napríklad aktuálna veľkosť kontextu pre GPT-4 je 8 k tokenov (t. j. viac-menej 7 k slov) a aktuálna veľkosť kontextu modelu Mixtral 8x7b je 16 k tokenov v službe NLP Cloud (t. j. viac-menej 14 k slov). Ak teda história vašej konverzácie presahuje túto hodnotu, možno budete chcieť buď skrátiť najstaršiu časť histórie, alebo zachovať len najdôležitejšie časti diskusií.

Obmedzenia obsahu pre chatbota

Spoločnosť OpenAI zaviedla obmedzenia obsahu v aplikáciách ChatGPT a GPT-4, aby zabezpečila, že text generovaný umelou inteligenciou bude dodržiavať jej usmernenia. Monitorovaním a reguláciou obsahu generovaného chatbotmi chce OpenAI vytvoriť pozitívnejší a spoľahlivejší používateľský zážitok. To zahŕňa blokovanie požiadaviek na informácie o určitých témach alebo poskytovanie len vopred overených, dôveryhodných informácií.

Niektorí však uprednostňujú používanie generatívnych modelov, ktoré nie sú spojené s takýmito obmedzeniami, a považujú kvalitu odpovedí za rozmanitejšiu a presnejšiu. LLaMA 3 a Mixtral 8x7b takéto obmedzenia nemajú. Pri používaní takýchto modelov umelej inteligencie je zodpovednosťou vývojára používať umelú inteligenciu zodpovedne. Ak je to potrebné, obmedzenia možno ešte zaviesť vytvorením správnej výzvy pre chatbot, doladením vlastného chatbota alebo filtrovaním požiadaviek používateľov predtým, ako sa dostanú k modelu AI.

Záver

Generatívne modely AI ako GPT-4, ChatGPT, LLaMA 3 a Mixtral 8x7b skutočne posunuli chatboty a konverzačnú AI na ďalšiu úroveň. Tieto pokročilé modely veľmi dobre chápu kontext a prispôsobujú sa mu. Vo väčšine prípadov stačí nastaviť správny kontext, ale pre pokročilé prípady použitia je najlepším riešením vycvičiť/vyladiť vlastný model AI (čo je pomerne jednoduché, pretože tieto modely vyžadujú veľmi malé súbory údajov).

V službe NLP Cloud môžete okrem iných modelov ľahko vyskúšať LLaMA 3 a Mixtral 8x7b. Môžete ich tiež doladiť a nasadiť svoje vlastné súkromné generatívne modely AI jedným kliknutím. Ak ste to ešte neurobili, vyskúšajte NLP Cloud zadarmo.

Ak máte otázky o tom, ako implementovať vlastného chatbota, neváhajte nás kontaktovať!