Як створити чат-бота за допомогою генеративних моделей, таких як GPT-4, ChatGPT, LLaMA 3 та Mixtral 8x7b

LLaMA 3 та Mixtral 8x7b: альтернативи ChatGPT та GPT-4 з відкритим кодом

ChatGPT і GPT-4 - це дві вдосконалені мовні моделі, розроблені OpenAI. ChatGPT, скорочення від "Chat Generative Pre-training Transformer", - це велика мовна модель, яка може генерувати текст, схожий на людський, на основі своїх навчальних даних. Вона була представлена в листопаді 2022 року і швидко завоювала широку увагу завдяки своїй здатності взаємодіяти з користувачами в розмовній манері, відповідаючи на питання, надаючи інформацію та залучаючи до виконання різних завдань.

GPT-4, або "Генеративний трансформатор попереднього навчання 4", є наступником GPT-3 і був анонсований OpenAI у березні 2023 року. Він являє собою значний стрибок у галузі мовних моделей ШІ, маючи ще більший розмір і розширені можливості порівняно зі своїми попередниками. GPT-4 здатний генерувати високодеталізований і точний текст у широкому діапазоні областей, включаючи обробку природної мови, комп'ютерне програмування і творче письмо.

І ChatGPT, і GPT-4 навчаються на величезних обсягах даних за допомогою неконтрольованого навчання, що дозволяє їм розуміти і генерувати людську мову з дивовижною точністю і швидкістю. Ці моделі відкрили нові можливості для розробки розмовного ШІ, створення контенту та інших додатків у таких галузях, як обслуговування клієнтів, освіта та розваги.

Незабаром після цього компанія Meta випустила LLaMA 3, а французький стартап Mistral AI випустив Mixtral 8x7b. Ці генеративні моделі є альтернативою ChatGPT і GPT-4 з відкритим вихідним кодом. Вони є дуже хорошими кандидатами, якщо ви хочете створити просунутого чат-бота. Ви можете розгорнути LLaMA 3 і Mixtral на власних серверах або легко використовувати їх через NLP Cloud API.

Однак усі ці генеративні ШІ-магістри потребують певної практики. По-перше, тому що цим моделям потрібно давати правильні підказки, щоб вони поводилися, як очікується. А також тому, що вони "без громадянства", тобто не зберігають історію ваших розмов.

Використання правильних підказок для вашого чат-бота

Якщо ви наївно надішлете запити до цих моделей без контексту та форматування, ви будете розчаровані відповідями. Це тому, що ці моделі дуже універсальні. Вони можуть допомогти не лише у створенні чат-ботів, але й у багатьох інших додатках, таких як відповіді на запитання, підбиття підсумків, перефразування, класифікація, вилучення сутностей, генерація описів продуктів та багато іншого. Отже, перше, що вам потрібно зробити, це вказати моделі, який "режим" вона повинна прийняти.

Ось приклад запиту, який ви можете надіслати:

This is a discussion between a [human] and an [ai]. 
The [ai] is very nice and empathetic.

[human]: I broke up with my girlfriend...
[robot]:
            

У цьому прикладі можна відзначити 2 речі.

По-перше, ми додали просте форматування, щоб модель розуміла, що вона перебуває в діалоговому режимі: ([human], [ai], ...).

По-друге, ми додали трохи контексту вгорі, щоб допомогти моделі зрозуміти, що вона робить і який тон їй слід використовувати.:

Щоб спростити цей процес, OpenAI та NLP Cloud пропонують спеціальні кінцеві точки API чат-ботів, які подбають про форматування за вас.

Іноді контексту недостатньо. Наприклад, уявіть, що ви хочете створити чат-бота з дуже специфічним тоном і характером. У такому випадку вам потрібно буде точно налаштувати власну генеративну модель. Ви можете налаштувати власного чат-бота на основі генеративного ШІ на OpenAI та NLP Cloud.

Інший сценарій - коли ви хочете створити чат-бота, який відповідатиме на запитання про конкретні знання в певній галузі. У цьому випадку точне налаштування не є рішенням. Вам краще створити власну систему розширеного пошуку (RAG), що базується на семантичному пошуку. Дивіться нашу спеціальну статтю про RAG та семантичний пошук тут.

Ведення історії розмов для вашого чат-бота

Генеративні моделі ШІ - це моделі "без статусу", тобто кожен ваш запит є новим, і ШІ нічого не пам'ятає про попередні запити, які ви робили.

Для багатьох випадків використання це не є проблемою (узагальнення, класифікація, перефразування...), але для чат-ботів це, безумовно, проблема, оскільки ми хочемо, щоб наш чат-бот запам'ятовував історію дискусії, щоб надавати більш релевантні відповіді.

Наприклад, якщо ви скажете ШІ, що ви програміст, ви хочете, щоб він запам'ятав це, тому що це вплине на наступні відповіді, які він зробить.

Найкращий спосіб досягти цього - зберігати кожну відповідь ШІ в локальній базі даних. Наприклад, база даних PostgreSQL підтримує зберігання довгих текстів з дуже високою ефективністю.

Після цього, кожного разу, коли ви звертаєтеся до чат-бота з новим запитом, вам слід зробити наступне:

• 1. Отримання історії розмов з локальної бази даних
• 2. Додайте ваш актуальний запит до історії розмови
• 3. Надішліть весь запит
• 4. У вашій локальній базі даних замініть стару історію відповіддю від ШІ

Це універсальна і надійна система, яка не вимагає особливих зусиль і чудово використовує можливості генераторних моделей, таких як GPT-4, ChatGPT, LLaMA 3 і Mixtral.

Важливо зазначити, що кожна модель має власний розмір контексту, який визначає, скільки тексту ви можете передати в історію. Наприклад, поточний розмір контексту для GPT-4 становить 8k токенів (тобто більш-менш 7k слів), а поточний розмір контексту Mixtral 8x7b - 16k токенів на NLP Cloud (тобто більш-менш 14k слів). Отже, якщо ваша історія розмов перевищує цей розмір, ви можете або видалити найстарішу частину історії, або зберегти лише найважливіші частини обговорень.

Обмеження контенту для чат-бота

OpenAI впровадила обмеження контенту в ChatGPT і GPT-4, щоб переконатися, що текст, створений ШІ, відповідає їхнім рекомендаціям. Відстежуючи та регулюючи контент, створений чат-ботами, OpenAI прагне створити більш позитивний та надійний користувацький досвід. Це включає в себе блокування запитів на інформацію на певні теми або надання тільки попередньо перевіреної, достовірної інформації.

Деякі вважають за краще використовувати генеративні моделі, які не мають таких обмежень, і вважають якість відповідей більш різноманітною і точною. LLaMA 3 та Mixtral 8x7b не мають таких обмежень. При використанні таких моделей ШІ відповідальність за відповідальне використання ШІ лежить на розробнику. За потреби обмеження все одно можна впровадити, створивши правильну підказку для чат-бота, доопрацювавши власного чат-бота або відфільтрувавши запити користувачів до того, як вони потраплять до ШІ-моделі.

Висновок

Генеративні моделі ШІ, такі як GPT-4, ChatGPT, LLaMA 3 і Mixtral 8x7b, дійсно вивели чат-ботів і розмовний ШІ на новий рівень. Ці вдосконалені моделі дуже добре розуміють контекст і адаптуються до нього. У більшості випадків достатньо встановити правильний контекст, але для просунутих випадків використання найкращим рішенням є навчання/точне налаштування власної моделі ШІ (що досить легко, оскільки ці моделі вимагають дуже невеликих наборів даних).

У NLP Cloud ви можете легко спробувати LLaMA 3 і Mixtral 8x7b серед інших моделей. Ви також можете налаштувати їх і розгорнути власні приватні генеративні моделі ШІ в один клік. Якщо ви ще не зробили цього, спробуйте NLP Cloud безкоштовно.

Якщо у вас виникли питання про те, як реалізувати власного чат-бота, будь ласка, зв'яжіться з нами!