Wie man einen Chatbot mit generativen Modellen wie GPT-4, ChatGPT, LLaMA 3 und Mixtral 8x7b erstellt

LLaMA 3 und Mixtral 8x7b: Open-Source-Alternativen zu ChatGPT und GPT-4

ChatGPT und GPT-4 sind zwei fortschrittliche Sprachmodelle, die von OpenAI entwickelt wurden. ChatGPT, kurz für "Chat Generative Pre-training Transformer", ist ein großes Sprachmodell, das auf der Grundlage seiner Trainingsdaten menschenähnlichen Text generieren kann. Es wurde im November 2022 eingeführt und erlangte schnell große Aufmerksamkeit, da es in der Lage ist, mit den Nutzern auf konversationelle Weise zu interagieren, Fragen zu beantworten, Informationen bereitzustellen und verschiedene Aufgaben zu übernehmen.

GPT-4, oder "Generative Pre-training Transformer 4", ist der Nachfolger von GPT-3 und wurde von OpenAI im März 2023 angekündigt. Er stellt einen bedeutenden Sprung auf dem Gebiet der KI-Sprachmodelle dar und zeichnet sich im Vergleich zu seinen Vorgängern durch eine noch größere Größe und verbesserte Fähigkeiten aus. GPT-4 ist in der Lage, hochdetaillierte und präzise Texte in einer Vielzahl von Bereichen zu generieren, darunter natürliche Sprachverarbeitung, Computerprogrammierung und kreatives Schreiben.

Sowohl ChatGPT als auch GPT-4 werden mit Hilfe von unüberwachtem Lernen auf riesigen Datenmengen trainiert und können so menschliche Sprache mit bemerkenswerter Genauigkeit und Geläufigkeit verstehen und erzeugen. Diese Modelle haben neue Möglichkeiten für die Entwicklung von konversationeller KI, die Erstellung von Inhalten und verschiedene andere Anwendungen in Branchen wie Kundenservice, Bildung und Unterhaltung eröffnet.

Kurz darauf wurde LLaMA 3 von Meta und Mixtral 8x7b von dem französischen KI-Startup Mistral AI veröffentlicht. Diese generativen Modelle sind Open-Source-Alternativen zu ChatGPT und GPT-4. Sie sind sehr gute Kandidaten, wenn Sie einen fortgeschrittenen Chatbot erstellen möchten. Sie können LLaMA 3 und Mixtral entweder auf Ihren eigenen Servern einsetzen oder sie einfach über die NLP Cloud API nutzen.

All diese generativen KI-LLMs erfordern jedoch ein wenig Übung. Erstens, weil diesen Modellen die richtigen Aufforderungen gegeben werden müssen, damit sie sich wie erwartet verhalten. Und auch, weil sie "zustandslos" sind, was bedeutet, dass sie keinen Verlauf Ihrer Unterhaltungen führen.

Verwenden Sie die richtige Aufforderung für Ihren Chatbot

Wenn Sie naiv Anfragen an diese Modelle ohne ein wenig Kontext und Formatierung senden, werden Sie von den Antworten enttäuscht sein. Das liegt daran, dass diese Modelle sehr vielseitig sind. Sie können nicht nur bei der Erstellung von Chatbots helfen, sondern auch bei vielen anderen Anwendungen wie der Beantwortung von Fragen, der Zusammenfassung, der Paraphrase, der Klassifizierung, der Extraktion von Entitäten, der Erstellung von Produktbeschreibungen und vielem mehr. Als Erstes müssen Sie also dem Modell mitteilen, welchen "Modus" es annehmen soll.

Hier ist ein Beispiel für eine Anfrage, die Sie senden könnten:

This is a discussion between a [human] and an [ai]. 
The [ai] is very nice and empathetic.

[human]: I broke up with my girlfriend...
[robot]:
            

In diesem Beispiel können Sie 2 Dinge feststellen.

Zunächst haben wir eine einfache Formatierung hinzugefügt, damit das Modell versteht, dass es sich im Gesprächsmodus befindet: ([human], [ai], ...).

Zweitens haben wir oben etwas Kontext hinzugefügt, um dem Modell zu helfen, zu verstehen, was es tut und welchen Ton es verwenden sollte.:

Um diesen Prozess zu vereinfachen, bieten sowohl OpenAI als auch NLP Cloud spezielle Chatbot-API-Endpunkte an, die diese Formatierung für Sie übernehmen.

Manchmal ist ein Kontext nicht genug. Stellen Sie sich zum Beispiel vor, dass Sie einen Chatbot mit einem ganz bestimmten Ton und Charakter erstellen möchten. In diesem Fall werden Sie Ihr eigenes generatives Modell feinabstimmen wollen. Sie können Ihren eigenen Chatbot basierend auf generativer KI auf OpenAI und NLP Cloud feinabstimmen.

Ein anderes Szenario ist, wenn Sie einen Chatbot erstellen möchten, der Fragen zu einem bestimmten Wissensgebiet beantwortet. In diesem Fall ist die Feinabstimmung nicht die Lösung. Sie werden stattdessen Ihr eigenes Retrieval Augmented Generation (RAG)-System auf der Grundlage der semantischen Suche erstellen wollen. Siehe unseren Artikel über RAG und semantische Suche hier.

Führen eines Gesprächsverlaufs für Ihren Chatbot

Generative KI-Modelle sind "zustandslose" Modelle, d. h. jede Anfrage, die Sie stellen, ist neu, und die KI kann sich nicht an frühere Anfragen erinnern, die Sie gestellt haben.

Für viele Anwendungsfälle ist das kein Problem (Zusammenfassung, Klassifizierung, Paraphrase...), aber für Chatbots ist es definitiv ein Problem, weil wir wollen, dass unser Chatbot sich den Diskussionsverlauf merkt, um relevantere Antworten zu geben.

Wenn Sie der KI zum Beispiel sagen, dass Sie ein Programmierer sind, möchten Sie, dass sie dies im Gedächtnis behält, weil es sich auf die folgenden Antworten auswirkt, die sie geben wird.

Der beste Weg, dies zu erreichen, ist, jede KI-Antwort in einer lokalen Datenbank zu speichern. Die PostgreSQL-Datenbank unterstützt zum Beispiel die Speicherung langer Texte mit einer sehr guten Effizienz.

Dann sollten Sie jedes Mal, wenn Sie eine neue Anfrage an den Chatbot stellen, Folgendes tun:

• 1. Abrufen des Gesprächsverlaufs aus der lokalen Datenbank
• 2. Fügen Sie Ihre aktuelle Anfrage zum Gesprächsverlauf hinzu
• 3. Senden Sie die gesamte Anfrage
• 4. Ersetzen Sie in Ihrer lokalen Datenbank Ihren alten Verlauf durch die Antwort der KI

Es handelt sich um ein vielseitiges und robustes System, das wenig Aufwand erfordert und die Leistungsfähigkeit von generativen Modellen wie GPT-4, ChatGPT, LLaMA 3 und Mixtral perfekt nutzt.

Es ist wichtig zu beachten, dass jedes Modell seine eigene Kontextgröße hat, die bestimmt, wie viel Text Sie an den Verlauf übergeben können. Zum Beispiel beträgt die aktuelle Kontextgröße für GPT-4 8k Token (d.h. mehr oder weniger 7k Wörter) und die aktuelle Kontextgröße von Mixtral 8x7b ist 16k Token auf NLP Cloud (d.h. mehr oder weniger 14k Wörter). Wenn Ihre Konversationshistorie diesen Wert überschreitet, sollten Sie entweder den ältesten Teil der Historie abschneiden oder nur die wichtigsten Teile der Diskussionen aufbewahren.

Inhaltsbeschränkungen für einen Chatbot

OpenAI hat Inhaltsbeschränkungen für ChatGPT und GPT-4 eingeführt, um sicherzustellen, dass der von der KI generierte Text ihren Richtlinien entspricht. Durch die Überwachung und Regulierung der von Chatbots generierten Inhalte will OpenAI ein positiveres und zuverlässigeres Nutzererlebnis schaffen. Dazu gehört, dass Anfragen nach Informationen zu bestimmten Themen blockiert werden oder nur vorab geprüfte, vertrauenswürdige Informationen bereitgestellt werden.

Manche bevorzugen jedoch generative Modelle, die nicht mit solchen Einschränkungen verbunden sind, und finden die Qualität der Antworten vielfältiger und genauer. LLaMA 3 und Mixtral 8x7b haben solche Beschränkungen nicht. Bei der Verwendung solcher KI-Modelle liegt es in der Verantwortung des Entwicklers, die KI verantwortungsvoll einzusetzen. Falls erforderlich, können Einschränkungen immer noch durch die Erstellung der richtigen Eingabeaufforderung für den Chatbot, durch die Feinabstimmung Ihres eigenen Chatbots oder durch das Filtern von Benutzeranfragen, bevor sie das KI-Modell erreichen, vorgenommen werden.

Schlussfolgerung

Generative KI-Modelle wie GPT-4, ChatGPT, LLaMA 3 und Mixtral 8x7b haben Chatbots und konversationelle KI wirklich auf die nächste Stufe gebracht. Diese fortschrittlichen Modelle sind sehr gut darin, Ihren Kontext zu verstehen und sich an ihn anzupassen. In den meisten Fällen reicht es aus, den richtigen Kontext einzustellen, aber für fortgeschrittene Anwendungsfälle ist die beste Lösung, Ihr eigenes KI-Modell zu trainieren/abzustimmen (was ziemlich einfach ist, da diese Modelle sehr kleine Datensätze benötigen).

Auf NLP Cloud können Sie unter anderem LLaMA 3 und Mixtral 8x7b ausprobieren. Sie können sie auch feinabstimmen und Ihre eigenen generativen KI-Modelle mit einem Klick bereitstellen. Falls noch nicht geschehen, probieren Sie NLP Cloud kostenlos aus.

Wenn Sie Fragen zur Implementierung Ihres eigenen Chatbots haben, zögern Sie bitte nicht, uns zu kontaktieren!