S rostoucí poptávkou po konverzační umělé inteligenci roste i potřeba pokročilých technologií chatbotů, které dokážou zajistit personalizované interakce podobné interakcím s lidmi. V posledních letech se objevily generativní modely, jako jsou GPT-4 a ChatGPT, a alternativy s otevřeným zdrojovým kódem, jako jsou LLaMA 3 a Mixtral 8x7b, jako slibné nástroje pro vytváření chatbotů, které dokáží rozumět vstupům v přirozeném jazyce a reagovat na ně s nebývalou přesností a propracovaností.
V tomto článku se seznámíme se základy generativních modelů a s tím, jak je lze použít při vytváření chatbotů.
ChatGPT a GPT-4 jsou dva pokročilé jazykové modely vyvinuté společností OpenAI. ChatGPT, zkratka pro "Chat Generative Pre-training Transformer", je rozsáhlý jazykový model, který dokáže na základě tréninkových dat generovat text podobný lidskému. Byl představen v listopadu 2022 a rychle si získal širokou pozornost díky své schopnosti komunikovat s uživateli konverzačním způsobem, odpovídat na otázky, poskytovat informace a zapojovat se do různých úkolů.
GPT-4, neboli "Generative Pre-training Transformer 4", je nástupcem GPT-3 a byl oznámen společností OpenAI v březnu 2023. Představuje významný skok v oblasti jazykových modelů umělé inteligence a oproti svým předchůdcům se může pochlubit ještě větší velikostí a rozšířenými možnostmi. GPT-4 je schopen generovat vysoce detailní a přesný text v široké škále oblastí, včetně zpracování přirozeného jazyka, počítačového programování a tvůrčího psaní.
Jak ChatGPT, tak GPT-4 jsou vyškoleny na obrovském množství dat pomocí učení bez dohledu, což jim umožňuje porozumět lidské řeči a generovat ji s pozoruhodnou přesností a plynulostí. Tyto modely otevřely nové možnosti pro vývoj konverzační umělé inteligence, generování obsahu a různých dalších aplikací v odvětvích, jako je zákaznický servis, vzdělávání a zábava.
Krátce poté vydala společnost Meta produkt LLaMA 3 a francouzský startup Mistral AI vydal produkt Mixtral 8x7b. Tyto generativní modely jsou open-source alternativou k ChatGPT a GPT-4. Jsou to velmi dobří kandidáti, pokud chcete vytvořit pokročilého chatbota. Modely LLaMA 3 a Mixtral můžete nasadit buď na vlastních serverech, nebo je můžete snadno používat prostřednictvím rozhraní NLP Cloud API.
Všechny tyto generativní AI LLM však vyžadují trochu praxe. Především proto, že těmto modelům je třeba dávat správné podněty, aby se chovaly podle očekávání. A také proto, že jsou "bezstavové", což znamená, že si neuchovávají historii vašich konverzací.
Pokud těmto modelům naivně pošlete požadavky bez trochy kontextu a formátování, budete zklamáni odpověďmi. Je to proto, že tyto modely jsou velmi univerzální. Mohou pomoci nejen při tvorbě chatbotů, ale také v mnoha dalších aplikacích, jako je zodpovídání otázek, sumarizace, parafrázování, klasifikace, extrakce entit, generování popisů produktů a mnoho dalších. První, co je tedy třeba udělat, je sdělit modelu, jaký "režim" má přijmout.
Zde je příklad žádosti, kterou můžete odeslat:
This is a discussion between a [human] and an [ai].
The [ai] is very nice and empathetic.
[human]: I broke up with my girlfriend...
[robot]:
V tomto příkladu si můžete všimnout dvou věcí.
Nejprve jsme přidali jednoduché formátování, aby model pochopil, že je v konverzačním režimu: ([human], [ai], ...).
Zadruhé jsme na začátek přidali kontext, aby model pochopil, co dělá a jakým tónem má mluvit.:
Aby byl tento proces jednodušší, OpenAI i NLP Cloud nabízejí speciální koncové body API chatbotů, které se o toto formátování postarají za vás.
Někdy kontext nestačí. Představte si například, že chcete vytvořit chatbota s velmi specifickým tónem a charakterem. V takovém případě budete chtít vyladit vlastní generativní model. Vlastního chatbota založeného na generativní umělé inteligenci můžete vyladit na platformě OpenAI a NLP Cloud.
Dalším scénářem je situace, kdy chcete vytvořit chatbota, který bude odpovídat na otázky týkající se specifických znalostí v dané oblasti. V takovém případě není řešením jemné doladění. Místo toho budete chtít vytvořit vlastní systém rozšířeného vyhledávání (RAG) založený na sémantickém vyhledávání. Podívejte se na náš specializovaný článek o RAG a sémantickém vyhledávání zde.
Generativní modely umělé inteligence jsou "bezstavové" modely, což znamená, že každý váš požadavek je nový a umělá inteligence si nepamatuje nic o předchozích požadavcích, které jste zadali.
Pro mnoho případů použití to není problém (shrnutí, klasifikace, parafráze...), ale pokud jde o chatboty, je to rozhodně problém, protože chceme, aby si náš chatbot zapamatoval historii diskuse, aby mohl poskytovat relevantnější odpovědi.
Pokud například umělé inteligenci řeknete, že jste programátor, chcete, aby si to pamatovala, protože to bude mít vliv na následující reakce, které bude provádět.
Nejlepší způsob, jak toho dosáhnout, je uložit každou odpověď AI do místní databáze. Například databáze PostgreSQL podporuje ukládání dlouhých textů s velmi dobrou efektivitou.
Při každém novém požadavku na chatbota byste pak měli provést následující kroky:
Jedná se o univerzální a robustní systém, který nevyžaduje velké úsilí a dokonale využívá sílu generativních modelů, jako jsou GPT-4, ChatGPT, LLaMA 3 a Mixtral.
Je důležité si uvědomit, že každý model má svou vlastní velikost kontextu, která určuje, kolik textu můžete do historie předat. Například aktuální velikost kontextu pro GPT-4 je 8 tisíc tokenů (tj. víceméně 7 tisíc slov) a aktuální velikost kontextu modelu Mixtral 8x7b je 16 tisíc tokenů v NLP Cloud (tj. víceméně 14 tisíc slov). Pokud tedy historie vaší konverzace přesahuje tuto hodnotu, možná budete chtít buď zkrátit nejstarší část historie, nebo zachovat pouze nejdůležitější části diskusí.
Společnost OpenAI zavedla v aplikacích ChatGPT a GPT-4 omezení obsahu, aby zajistila, že text generovaný umělou inteligencí bude dodržovat její pokyny. Sledováním a regulací obsahu generovaného chatboty se společnost OpenAI snaží vytvořit pozitivnější a spolehlivější uživatelskou zkušenost. To zahrnuje blokování požadavků na informace o určitých tématech nebo poskytování pouze předem prověřených a důvěryhodných informací.
Někteří však raději používají generativní modely, které taková omezení nemají, a kvalita odpovědí je podle nich rozmanitější a přesnější. LLaMA 3 a Mixtral 8x7b taková omezení nemají. Při používání takových modelů umělé inteligence je odpovědností vývojáře, aby umělou inteligenci používal zodpovědně. V případě potřeby lze omezení ještě realizovat vytvořením správné výzvy pro chatbota, vyladěním vlastního chatbota nebo filtrováním požadavků uživatele předtím, než se dostanou k modelu AI.
Generativní modely AI, jako jsou GPT-4, ChatGPT, LLaMA 3 a Mixtral 8x7b, skutečně posunuly chatboty a konverzační AI na další úroveň. Tyto pokročilé modely velmi dobře chápou kontext a přizpůsobují se mu. Ve většině případů stačí nastavit správný kontext, ale pro pokročilé případy použití je nejlepším řešením vycvičit/vyladit vlastní model AI (což je poměrně snadné, protože tyto modely vyžadují velmi malé soubory dat).
Na platformě NLP Cloud si můžete snadno vyzkoušet mimo jiné modely LLaMA 3 a Mixtral 8x7b. Můžete je také doladit a jedním kliknutím nasadit své vlastní soukromé generativní modely AI. Pokud jste tak ještě neučinili, vyzkoušejte NLP Cloud zdarma.
Pokud máte dotazy ohledně implementace vlastního chatbota, neváhejte nás kontaktovat!
François