Πώς να δημιουργήσετε ένα Chatbot με Γενετικά Μοντέλα όπως το GPT-4, το ChatGPT, το LLaMA 3 και το Mixtral 8x7b

LLaMA 3 και Mixtral 8x7b: εναλλακτικές λύσεις ανοικτού κώδικα για το ChatGPT και το GPT-4

Το ChatGPT και το GPT-4 είναι δύο προηγμένα γλωσσικά μοντέλα που αναπτύχθηκαν από την OpenAI. Το ChatGPT, συντομογραφία για το "Chat Generative Pre-training Transformer", είναι ένα μεγάλο γλωσσικό μοντέλο που μπορεί να παράγει κείμενο που μοιάζει με ανθρώπινο κείμενο με βάση τα δεδομένα εκπαίδευσής του. Παρουσιάστηκε τον Νοέμβριο του 2022 και κέρδισε γρήγορα ευρεία προσοχή για την ικανότητά του να αλληλεπιδρά με τους χρήστες με διαλογικό τρόπο, απαντώντας σε ερωτήσεις, παρέχοντας πληροφορίες και συμμετέχοντας σε διάφορες εργασίες.

Ο GPT-4, ή "Generative Pre-training Transformer 4", είναι ο διάδοχος του GPT-3 και ανακοινώθηκε από το OpenAI τον Μάρτιο του 2023. Αντιπροσωπεύει ένα σημαντικό άλμα στον τομέα των γλωσσικών μοντέλων AI, διαθέτοντας ακόμη μεγαλύτερο μέγεθος και βελτιωμένες δυνατότητες σε σύγκριση με τους προκατόχους του. Το GPT-4 είναι ικανό να παράγει εξαιρετικά λεπτομερές και ακριβές κείμενο σε ένα ευρύ φάσμα τομέων, όπως η επεξεργασία φυσικής γλώσσας, ο προγραμματισμός υπολογιστών και η δημιουργική γραφή.

Τόσο το ChatGPT όσο και το GPT-4 εκπαιδεύονται σε τεράστιες ποσότητες δεδομένων χρησιμοποιώντας μάθηση χωρίς επίβλεψη, επιτρέποντάς τους να κατανοούν και να παράγουν ανθρώπινη γλώσσα με αξιοσημείωτη ακρίβεια και ευχέρεια. Αυτά τα μοντέλα έχουν ανοίξει νέες δυνατότητες για την ανάπτυξη της συνομιλιακής τεχνητής νοημοσύνης, τη δημιουργία περιεχομένου και διάφορες άλλες εφαρμογές σε κλάδους όπως η εξυπηρέτηση πελατών, η εκπαίδευση και η ψυχαγωγία.

Λίγο αργότερα, κυκλοφόρησε το LLaMA 3 από την Meta και το Mixtral 8x7b από τη γαλλική νεοφυή εταιρεία τεχνητής νοημοσύνης Mistral AI. Αυτά τα παραγωγικά μοντέλα είναι εναλλακτικές λύσεις ανοικτού κώδικα για τα ChatGPT και GPT-4. Είναι πολύ καλοί υποψήφιοι αν θέλετε να δημιουργήσετε ένα προηγμένο chatbot. Μπορείτε είτε να αναπτύξετε το LLaMA 3 και το Mixtral στους δικούς σας διακομιστές είτε να τα χρησιμοποιήσετε εύκολα μέσω του NLP Cloud API.

Όλα αυτά τα LLMs της γεννητικής ΤΝ χρειάζονται όμως λίγη εξάσκηση. Πρώτον, επειδή σε αυτά τα μοντέλα πρέπει να δοθούν οι σωστές υποδείξεις για να συμπεριφερθούν όπως αναμένεται. Και επίσης επειδή είναι "stateless", που σημαίνει ότι δεν διατηρούν ιστορικό των συνομιλιών σας.

Χρήση της σωστής προτροπής για το Chatbot σας

Αν στείλετε αφελώς αιτήματα σε αυτά τα μοντέλα χωρίς κάποιο πλαίσιο και μορφοποίηση, θα απογοητευτείτε από τις απαντήσεις. Αυτό οφείλεται στο γεγονός ότι αυτά τα μοντέλα είναι πολύ ευέλικτα. Μπορούν όχι μόνο να βοηθήσουν στη δημιουργία chatbots, αλλά και σε πολλές άλλες εφαρμογές, όπως η απάντηση ερωτήσεων, η περίληψη, η παράφραση, η ταξινόμηση, η εξαγωγή οντοτήτων, η δημιουργία περιγραφών προϊόντων και πολλά άλλα. Έτσι, το πρώτο πράγμα που πρέπει να κάνετε είναι να πείτε στο μοντέλο ποια "λειτουργία" θα πρέπει να υιοθετήσει.

Ακολουθεί ένα παράδειγμα αιτήματος που θα μπορούσατε να στείλετε:

This is a discussion between a [human] and an [ai]. 
The [ai] is very nice and empathetic.

[human]: I broke up with my girlfriend...
[robot]:
            

Σε αυτό το παράδειγμα, μπορείτε να παρατηρήσετε 2 πράγματα.

Πρώτον, προσθέσαμε μια απλή μορφοποίηση προκειμένου το μοντέλο να καταλάβει ότι βρίσκεται σε κατάσταση συνομιλίας: ([human], [ai], ...).

Δεύτερον, προσθέσαμε κάποιο πλαίσιο στην κορυφή για να βοηθήσουμε το μοντέλο να καταλάβει τι κάνει και τον τόνο που πρέπει να χρησιμοποιήσει.:

Για να γίνει αυτή η διαδικασία απλούστερη, τόσο το OpenAI όσο και το NLP Cloud προτείνουν ειδικά σημεία API chatbot, τα οποία αναλαμβάνουν αυτή τη μορφοποίηση για εσάς.

Μερικές φορές το πλαίσιο δεν είναι αρκετό. Για παράδειγμα, φανταστείτε ότι θέλετε να δημιουργήσετε ένα chatbot με πολύ συγκεκριμένο τόνο και χαρακτήρα. Σε αυτή την περίπτωση θα θελήσετε να τελειοποιήσετε το δικό σας παραγωγικό μοντέλο. Μπορείτε να τελειοποιήσετε το δικό σας chatbot με βάση τη γεννητική AI στο OpenAI και στο NLP Cloud.

Ένα άλλο σενάριο είναι όταν θέλετε να δημιουργήσετε ένα chatbot που να απαντά σε ερωτήσεις σχετικά με συγκεκριμένες γνώσεις τομέα. Σε αυτή την περίπτωση η λεπτομερής ρύθμιση δεν είναι η λύση. Αντ' αυτού θα θελήσετε να δημιουργήσετε το δικό σας σύστημα επαυξημένης ανάκτησης (RAG) που βασίζεται στη σημασιολογική αναζήτηση. Δείτε το ειδικό μας άρθρο για το RAG και τη σημασιολογική αναζήτηση εδώ.

Διατήρηση ιστορικού συνομιλιών για το Chatbot σας

Τα γεννητικά μοντέλα τεχνητής νοημοσύνης είναι μοντέλα "χωρίς κατάσταση", που σημαίνει ότι κάθε αίτημα που κάνετε είναι νέο και η τεχνητή νοημοσύνη δεν πρόκειται να θυμάται τίποτα για τα προηγούμενα αιτήματα που κάνατε.

Για πολλές περιπτώσεις χρήσης δεν αποτελεί πρόβλημα (περίληψη, ταξινόμηση, παράφραση...), αλλά όσον αφορά τα chatbots είναι σίγουρα ένα ζήτημα, επειδή θέλουμε το chatbot μας να απομνημονεύει το ιστορικό της συζήτησης για να δίνει πιο σχετικές απαντήσεις.

Για παράδειγμα, αν πείτε στην Τεχνητή Νοημοσύνη ότι είστε προγραμματιστής, θέλετε να το κρατήσει στη μνήμη της, επειδή αυτό θα έχει αντίκτυπο στις επόμενες απαντήσεις που θα δώσει.

Ο καλύτερος τρόπος για να επιτευχθεί αυτό είναι η αποθήκευση κάθε απάντησης της ΤΝ σε μια τοπική βάση δεδομένων. Για παράδειγμα, η βάση δεδομένων PostgreSQL υποστηρίζει την αποθήκευση μεγάλων κειμένων, με πολύ καλή απόδοση.

Στη συνέχεια, κάθε φορά που κάνετε ένα νέο αίτημα στο chatbot, θα πρέπει να κάνετε τα εξής:

• 1. Ανάκτηση του ιστορικού συνομιλιών από την τοπική βάση δεδομένων
• 2. Προσθέστε το πραγματικό αίτημά σας στο ιστορικό συνομιλίας
• 3. Αποστολή ολόκληρης της αίτησης
• 4. Στην τοπική σας βάση δεδομένων, αντικαταστήστε το παλιό σας ιστορικό με την απάντηση από την AI

Πρόκειται για ένα ευπροσάρμοστο και ισχυρό σύστημα που απαιτεί μικρή προσπάθεια και αξιοποιεί τέλεια τη δύναμη των παραγωγικών μοντέλων όπως το GPT-4, το ChatGPT, το LLaMA 3 και το Mixtral.

Είναι σημαντικό να σημειωθεί ότι κάθε μοντέλο έχει το δικό του μέγεθος πλαισίου που θα καθορίσει πόσο κείμενο μπορείτε να περάσετε στο ιστορικό. Για παράδειγμα, το τρέχον μέγεθος πλαισίου για το GPT-4 είναι 8k tokens (δηλαδή περίπου 7k λέξεις) και το τρέχον μέγεθος πλαισίου του Mixtral 8x7b είναι 16k tokens στο NLP Cloud (δηλαδή περίπου 14k λέξεις). Επομένως, εάν το ιστορικό των συζητήσεών σας υπερβαίνει αυτό το όριο, ίσως να θέλετε είτε να περικόψετε το παλαιότερο μέρος του ιστορικού, είτε να διατηρήσετε μόνο τα πιο σημαντικά μέρη των συζητήσεων.

Περιορισμοί περιεχομένου για ένα Chatbot

Το OpenAI έχει εφαρμόσει περιορισμούς περιεχομένου στα ChatGPT και GPT-4 για να διασφαλίσει ότι το κείμενο που παράγεται από την τεχνητή νοημοσύνη συμμορφώνεται με τις οδηγίες του. Με την παρακολούθηση και τη ρύθμιση του περιεχομένου που παράγεται από τα chatbots, η OpenAI στοχεύει στη δημιουργία μιας πιο θετικής και αξιόπιστης εμπειρίας για τους χρήστες. Αυτό περιλαμβάνει τον αποκλεισμό αιτημάτων για πληροφορίες σχετικά με ορισμένα θέματα ή την παροχή μόνο προ-ελεγμένων, αξιόπιστων πληροφοριών.

Κάποιοι προτιμούν να χρησιμοποιούν παραγωγικά μοντέλα που δεν έχουν τέτοιους περιορισμούς και θεωρούν ότι η ποιότητα των απαντήσεων είναι πιο ποικίλη και ακριβής. Το LLaMA 3 και το Mixtral 8x7b δεν έχουν τέτοιους περιορισμούς. Κατά τη χρήση τέτοιων μοντέλων τεχνητής νοημοσύνης, είναι ευθύνη του προγραμματιστή να χρησιμοποιεί την τεχνητή νοημοσύνη με υπευθυνότητα. Εάν είναι απαραίτητο, οι περιορισμοί μπορούν ακόμα να εφαρμοστούν με τη δημιουργία της κατάλληλης προτροπής για το chatbot, με τη λεπτομερή ρύθμιση του δικού σας chatbot ή με το φιλτράρισμα των αιτημάτων των χρηστών πριν φτάσουν στο μοντέλο AI.

Συμπέρασμα

Μοντέλα γεννητικής τεχνητής νοημοσύνης όπως τα GPT-4, ChatGPT, LLaMA 3 και Mixtral 8x7b, έφεραν πραγματικά τα chatbots και τη συνομιλιακή τεχνητή νοημοσύνη στο επόμενο επίπεδο. Αυτά τα προηγμένα μοντέλα είναι πολύ καλά στο να κατανοούν το πλαίσιο και να προσαρμόζονται σε αυτό. Στις περισσότερες περιπτώσεις, ο καθορισμός του σωστού πλαισίου είναι αρκετός, αλλά για προχωρημένες περιπτώσεις χρήσης η καλύτερη λύση είναι να εκπαιδεύσετε/λεπτορυθμίσετε το δικό σας μοντέλο AI (το οποίο είναι αρκετά εύκολο, καθώς αυτά τα μοντέλα απαιτούν πολύ μικρά σύνολα δεδομένων).

Στο NLP Cloud μπορείτε εύκολα να δοκιμάσετε το LLaMA 3 και το Mixtral 8x7b μεταξύ άλλων μοντέλων. Μπορείτε επίσης να τα ρυθμίσετε και να αναπτύξετε τα δικά σας ιδιωτικά παραγωγικά μοντέλα ΤΝ με ένα κλικ. Αν δεν το έχετε κάνει ακόμα, δοκιμάστε το NLP Cloud δωρεάν.

Εάν έχετε ερωτήσεις σχετικά με τον τρόπο υλοποίησης του δικού σας chatbot, μη διστάσετε να επικοινωνήσετε μαζί μας!