Как да създадем чатбот с генеративни модели като GPT-4, ChatGPT, LLaMA 3 и Mixtral 8x7b

LLaMA 3 и Mixtral 8x7b: алтернативи с отворен код на ChatGPT и GPT-4

ChatGPT и GPT-4 са два усъвършенствани езикови модела, разработени от OpenAI. ChatGPT, съкратено от "Chat Generative Pre-training Transformer", е голям езиков модел, който може да генерира текст, подобен на човешкия, въз основа на данните за обучение. Той е представен през ноември 2022 г. и бързо печели широко внимание заради способността си да взаимодейства с потребителите по разговорен начин, като отговаря на въпроси, предоставя информация и се включва в различни задачи.

GPT-4, или "Generative Pre-training Transformer 4", е наследник на GPT-3 и беше обявен от OpenAI през март 2023 г. Той представлява значителен скок в областта на езиковите модели на изкуствения интелект, като може да се похвали с още по-голям размер и разширени възможности в сравнение с предшествениците си. GPT-4 е способен да генерира изключително подробен и точен текст в широк спектър от области, включително обработка на естествен език, компютърно програмиране и творческо писане.

Както ChatGPT, така и GPT-4 са обучени на огромни количества данни чрез обучение без наблюдение, което им позволява да разбират и генерират човешки език със забележителна точност и плавност. Тези модели откриват нови възможности за разработване на разговорен изкуствен интелект, генериране на съдържание и различни други приложения в индустрии като обслужване на клиенти, образование и развлечения.

Малко след това Meta пусна LLaMA 3, а френският стартъп за изкуствен интелект Mistral AI пусна Mixtral 8x7b. Тези генеративни модели са алтернативи с отворен код на ChatGPT и GPT-4. Те са много добри кандидати, ако искате да създадете усъвършенстван чатбот. Можете да разгърнете LLaMA 3 и Mixtral на собствените си сървъри или лесно да ги използвате чрез NLP Cloud API.

Всички тези генеративни LLM за изкуствен интелект обаче изискват малко практика. Първо, защото на тези модели трябва да се дадат правилните подкани, за да се държат според очакванията. А също и защото са "безсъстоятелни", което означава, че не съхраняват история на вашите разговори.

Използване на правилната подкана за вашия чатбот

Ако наивно изпратите заявки до тези модели без малко контекст и форматиране, ще останете разочаровани от отговорите. Това е така, защото тези модели са много гъвкави. Те могат да помогнат не само за създаването на чатботове, но и за много други приложения като отговаряне на въпроси, резюмиране, перифразиране, класификация, извличане на същности, генериране на продуктови описания и много други. Така че първото нещо, което трябва да направите, е да кажете на модела кой "режим" трябва да приеме.

Ето пример за заявка, която можете да изпратите:

This is a discussion between a [human] and an [ai]. 
The [ai] is very nice and empathetic.

[human]: I broke up with my girlfriend...
[robot]:
            

В този пример можете да забележите 2 неща.

Първо, добавихме просто форматиране, за да може моделът да разбере, че е в режим на разговор: ([human], [ai], ...).

Второ, добавихме контекст в горната част, за да помогнем на модела да разбере какво прави и какъв тон трябва да използва.:

За да се улесни този процес, OpenAI и NLP Cloud предлагат специални API точки за чатботове, които се грижат за това форматиране вместо вас.

Понякога контекстът не е достатъчен. Представете си например, че искате да създадете чатбот с много специфичен тон и характер. В този случай ще искате да настроите свой собствен генеративен модел. Можете да настроите свой собствен чатбот на базата на генеративен изкуствен интелект в OpenAI и в NLP Cloud.

Друг сценарий е, когато искате да създадете чатбот, който да отговаря на въпроси, свързани с конкретни знания в областта. В този случай фината настройка не е решение. Вместо това ще искате да създадете своя собствена система за разширено генериране на извличане (RAG), базирана на семантично търсене. Вижте нашата специална статия за RAG и семантичното търсене тук.

Поддържане на история на разговорите за вашия чатбот

Генеративните модели на ИИ са модели без състояние, което означава, че всяка ваша заявка е нова и ИИ няма да помни нищо за предишните ви заявки.

За много случаи на употреба това не е проблем (обобщаване, класифициране, перифразиране...), но що се отнася до чатботовете, това определено е проблем, защото искаме чатботът ни да запомни историята на дискусията, за да дава по-подходящи отговори.

Например, ако кажете на изкуствения интелект, че сте програмист, искате той да го запази в паметта си, защото това ще окаже влияние върху следващите отговори, които той ще направи.

Най-добрият начин да постигнете това е да съхранявате всеки отговор на AI в локална база данни. Например, базата данни PostgreSQL поддържа съхраняване на дълги текстове с много добра ефективност.

След това всеки път, когато отправяте нова заявка към чатбота, трябва да правите следното:

• 1. Извличане на историята на разговорите от локалната база данни
• 2. Добавяне на действителната заявка в историята на разговора
• 3. Изпращане на цялата заявка
• 4. В локалната си база данни заменете старата история с отговора от AI

Това е едновременно гъвкава и надеждна система, която не изисква много усилия и отлично използва възможностите на генеративни модели като GPT-4, ChatGPT, LLaMA 3 и Mixtral.

Важно е да се отбележи, че всеки модел има свой собствен размер на контекста, който определя колко текст можете да предадете на историята. Например текущият размер на контекста за GPT-4 е 8 хил. токена (т.е. повече или по-малко от 7 хил. думи), а текущият размер на контекста на Mixtral 8x7b е 16 хил. токена в NLP Cloud (т.е. повече или по-малко от 14 хил. думи). Така че, ако историята на разговора ви надхвърля тази стойност, може да искате или да съкратите най-старата част от историята, или да запазите само най-важните части от дискусиите.

Ограничения на съдържанието за чатбот

OpenAI е въвела ограничения на съдържанието на ChatGPT и GPT-4, за да гарантира, че генерираният от изкуствения интелект текст се придържа към техните насоки. Чрез наблюдение и регулиране на съдържанието, генерирано от чатботовете, OpenAI цели да създаде по-положително и надеждно потребителско изживяване. Това включва блокиране на заявки за информация по определени теми или предоставяне само на предварително проверена, надеждна информация.

Някои обаче предпочитат да използват генеративни модели, които не са свързани с такива ограничения, и смятат, че качеството на отговорите е по-разнообразно и точно. LLaMA 3 и Mixtral 8x7b не разполагат с такива рестрикции. При използването на такива модели с изкуствен интелект отговорността за отговорното използване на изкуствения интелект е на разработчика. Ако е необходимо, ограниченията все пак могат да бъдат въведени чрез създаване на подходяща подкана за чатбота, чрез фина настройка на собствения чатбот или чрез филтриране на потребителските заявки, преди да достигнат до модела на ИИ.

Заключение

Генеративните модели на ИИ като GPT-4, ChatGPT, LLaMA 3 и Mixtral 8x7b наистина изведоха чатботовете и разговорния ИИ на следващото ниво. Тези усъвършенствани модели много добре разбират контекста и се адаптират към него. В повечето случаи задаването на правилния контекст е достатъчно, но за напреднали случаи на употреба най-доброто решение е да обучите/настроите свой собствен AI модел (което е доста лесно, тъй като тези модели изискват много малки набори от данни).

В NLP Cloud можете лесно да изпробвате LLaMA 3 и Mixtral 8x7b, както и други модели. Можете също така да ги настройвате и да внедрявате свои собствени генеративни AI модели с едно кликване. Ако все още не сте го направили, изпробвайте NLP Cloud безплатно.

Ако имате въпроси за това как да внедрите свой собствен чатбот, моля, не се колебайте да се свържете с нас!