Cum să construiți un Chatbot cu modele generative precum GPT-4, ChatGPT, LLaMA 3 și Mixtral 8x7b

LLaMA 3 și Mixtral 8x7b: alternative open-source la ChatGPT și GPT-4

ChatGPT și GPT-4 sunt două modele lingvistice avansate dezvoltate de OpenAI. ChatGPT, prescurtare de la "Chat Generative Pre-training Transformer", este un model lingvistic de mari dimensiuni care poate genera text asemănător cu cel uman pe baza datelor de instruire. Acesta a fost introdus în noiembrie 2022 și a câștigat rapid o atenție sporită pentru capacitatea sa de a interacționa cu utilizatorii într-o manieră conversațională, răspunzând la întrebări, furnizând informații și angajându-se în diverse sarcini.

GPT-4, sau "Generative Pre-training Transformer 4", este succesorul lui GPT-3 și a fost anunțat de OpenAI în martie 2023. Acesta reprezintă un salt semnificativ în domeniul modelelor lingvistice de inteligență artificială, având o dimensiune și mai mare și capacități îmbunătățite în comparație cu predecesorii săi. GPT-4 este capabil să genereze texte foarte detaliate și precise într-o gamă largă de domenii, inclusiv procesarea limbajului natural, programarea calculatoarelor și scrierea creativă.

Atât ChatGPT, cât și GPT-4 sunt antrenate pe cantități mari de date folosind învățarea nesupravegheată, ceea ce le permite să înțeleagă și să genereze limbajul uman cu o acuratețe și o fluență remarcabile. Aceste modele au deschis noi posibilități pentru dezvoltarea inteligenței artificiale conversaționale, generarea de conținut și diverse alte aplicații în industrii precum serviciul clienți, educația și divertismentul.

La scurt timp după aceea, LLaMA 3 a fost lansat de Meta, iar Mixtral 8x7b a fost lansat de către Mistral AI, o companie franceză de pornire în domeniul inteligenței artificiale. Aceste modele generative sunt alternative open-source la ChatGPT și GPT-4. Acestea sunt candidați foarte buni dacă doriți să construiți un chatbot avansat. Puteți fie să implementați LLaMA 3 și Mixtral pe propriile servere, fie să le utilizați cu ușurință prin intermediul NLP Cloud API.

Toate aceste LLM-uri generative de inteligență artificială necesită totuși un pic de practică. În primul rând pentru că aceste modele trebuie să primească indicațiile corecte pentru a se comporta conform așteptărilor. Și, de asemenea, pentru că sunt "fără stare", ceea ce înseamnă că nu păstrează un istoric al conversațiilor dumneavoastră.

Folosind Promptul potrivit pentru Chatbot-ul dvs.

Dacă trimiteți în mod naiv solicitări către aceste modele fără un pic de context și formatare, veți fi dezamăgiți de răspunsurile primite. Acest lucru se datorează faptului că aceste modele sunt foarte versatile. Ele nu pot ajuta doar la crearea de chatbots, ci și la multe alte aplicații, cum ar fi răspunsul la întrebări, rezumarea, parafrazarea, clasificarea, extragerea de entități, generarea de descrieri de produse și multe altele. Așadar, primul lucru pe care trebuie să îl faceți este să îi spuneți modelului ce "mod" ar trebui să adopte.

Iată un exemplu de cerere pe care ați putea să o trimiteți:

This is a discussion between a [human] and an [ai]. 
The [ai] is very nice and empathetic.

[human]: I broke up with my girlfriend...
[robot]:
            

În acest exemplu, puteți observa 2 lucruri.

În primul rând, am adăugat o formatare simplă pentru ca modelul să înțeleagă că se află în modul conversațional: ([human], [ai], ...).

În al doilea rând, am adăugat un context în partea de sus pentru a ajuta modelul să înțeleagă ce face și ce ton ar trebui să folosească.:

Pentru a simplifica acest proces, atât OpenAI, cât și NLP Cloud propun puncte finale API dedicate pentru chatbot, care se ocupă de această formatare pentru dumneavoastră.

Uneori, un context nu este suficient. De exemplu, imaginați-vă că doriți să creați un chatbot cu un ton și un caracter foarte specific. În acest caz, veți dori să vă ajustați fin propriul model generativ. Vă puteți ajusta fin propriul chatbot bazat pe AI generativă pe OpenAI și pe NLP Cloud.

Un alt scenariu este atunci când doriți să creați un chatbot care să răspundă la întrebări despre cunoștințe specifice din domeniu. În acest caz, reglajul fin nu este soluția. În schimb, veți dori să vă creați propriul sistem de generare augmentată a recuperării (RAG) bazat pe căutare semantică. Vedeți articolul nostru dedicat despre RAG și căutarea semantică aici.

Menținerea unui istoric al conversațiilor pentru Chatbot-ul dvs.

Modelele de inteligență artificială generativă sunt modele "fără stare", ceea ce înseamnă că fiecare cerere pe care o faceți este nouă, iar inteligența artificială nu-și va aminti nimic despre cererile anterioare pe care le-ați făcut.

Pentru multe cazuri de utilizare nu este o problemă (rezumare, clasificare, parafrazare...), dar în ceea ce privește chatbots, este cu siguranță o problemă, deoarece dorim ca chatbotul nostru să memoreze istoricul discuției pentru a da răspunsuri mai relevante.

De exemplu, dacă îi spuneți inteligenței artificiale că sunteți programator, doriți ca aceasta să păstreze acest lucru în memorie, deoarece va avea un impact asupra următoarelor răspunsuri pe care le va da.

Cel mai bun mod de a realiza acest lucru este de a stoca fiecare răspuns AI într-o bază de date locală. De exemplu, baza de date PostgreSQL acceptă stocarea textelor lungi, cu o eficiență foarte bună.

Apoi, de fiecare dată când faceți o nouă cerere către chatbot, trebuie să faceți următoarele:

• 1. Preluarea istoricului conversațiilor din baza de date locală
• 2. Adăugați cererea dvs. reală la istoricul conversației
• 3. Trimiteți întreaga cerere
• 4. În baza de date locală, înlocuiți vechiul istoric cu răspunsul de la AI

Acesta este un sistem versatil și robust, care necesită puțin efort și care valorifică perfect puterea modelelor generative precum GPT-4, ChatGPT, LLaMA 3 și Mixtral.

Este important de reținut că fiecare model are propria dimensiune a contextului, care va determina cât de mult text puteți transmite la istoric. De exemplu, dimensiunea actuală a contextului pentru GPT-4 este de 8k token-uri (adică mai mult sau mai puțin de 7k cuvinte), iar dimensiunea actuală a contextului pentru Mixtral 8x7b este de 16k token-uri pe NLP Cloud (adică mai mult sau mai puțin de 14k cuvinte). Prin urmare, dacă istoricul conversațiilor dvs. depășește această valoare, este posibil să doriți fie să trunchiați cea mai veche parte a istoricului, fie să păstrați doar cele mai importante părți ale discuțiilor.

Restricții de conținut pentru un Chatbot

OpenAI a implementat restricții de conținut pe ChatGPT și GPT-4 pentru a se asigura că textul generat de AI respectă liniile directoare ale acestora. Prin monitorizarea și reglementarea conținutului generat de chatbots, OpenAI urmărește să creeze o experiență mai pozitivă și mai fiabilă pentru utilizatori. Acest lucru include blocarea cererilor de informații pe anumite subiecte sau furnizarea doar a unor informații verificate în prealabil și demne de încredere.

Totuși, unii preferă să utilizeze modele generative care nu au astfel de restricții și consideră că calitatea răspunsurilor este mai diversă și mai precisă. LLaMA 3 și Mixtral 8x7b nu au astfel de restricții. Atunci când se utilizează astfel de modele de inteligență artificială, este responsabilitatea dezvoltatorului să folosească inteligența artificială în mod responsabil. Dacă este necesar, limitările pot fi totuși implementate prin crearea unui prompt potrivit pentru chatbot, prin reglarea fină a propriului chatbot sau prin filtrarea cererilor utilizatorilor înainte ca acestea să ajungă la modelul AI.

Concluzie

Modelele de inteligență artificială generativă, cum ar fi GPT-4, ChatGPT, LLaMA 3 și Mixtral 8x7b, au dus într-adevăr chatbots și inteligența artificială conversațională la nivelul următor. Aceste modele avansate sunt foarte bune la înțelegerea contextului și la adaptarea la acesta. În cele mai multe cazuri, stabilirea contextului potrivit este suficientă, dar pentru cazurile de utilizare avansate, cea mai bună soluție este să vă antrenați/rafinalizați propriul model de inteligență artificială (ceea ce este destul de ușor, deoarece aceste modele necesită seturi de date foarte mici).

Pe NLP Cloud puteți încerca cu ușurință LLaMA 3 și Mixtral 8x7b, printre alte modele. De asemenea, le puteți ajusta și implementa propriile modele de inteligență artificială generativă private cu un singur clic. Dacă nu ați terminat încă, încercați NLP Cloud gratuit.

Dacă aveți întrebări despre cum să vă implementați propriul chatbot, vă rugăm să nu ezitați să ne contactați!