Στο NLP Cloud θέλαμε να δούμε αν το GPT-J θα μπορούσε να ρυθμιστεί λεπτομερώς ως μοντέλο εντολών, ώστε να κατανοεί σωστά τις ανθρώπινες οδηγίες στη φυσική γλώσσα, χωρίς να χρησιμοποιεί μάθηση λίγων βολών. Άλλες προσπάθειες έχουν δώσει ενδιαφέροντα αποτελέσματα στην κοινότητα ανοιχτού κώδικα, όπως το Flan-T5, το BloomZ ή το Stanford Alpaca, οπότε θελήσαμε να κάνουμε το ίδιο στο GPT-J χρησιμοποιώντας το σύνολο δεδομένων του Alpaca. Τα αποτελέσματα είναι πολύ καλά!
Τα παραγωγικά μοντέλα τεχνητής νοημοσύνης δεν είναι εξ ορισμού καλά στο να κατανοούν τα ανθρώπινα αιτήματα.
Για να καταλάβουν αυτά τα μοντέλα παραγωγής κειμένου τι θέλετε, η καλύτερη λύση είναι να χρησιμοποιήσετε μάθηση λίγων στιγμών. Φτιάξαμε έναν ειδικό οδηγό για τη μάθηση λίγων στιγμών μπορείτε να το βρείτε εδώ. Το GPT-J είναι ένα καλό παράδειγμα ενός πολύ ικανού μοντέλου που λειτουργεί σωστά μόνο με μάθηση λίγων βολών.
Ακόμα και αν η κατασκευή αυτών των παραδειγμάτων δεν απαιτεί συνήθως πολύ χρόνο, εξακολουθεί να προκαλεί σύγχυση στους νεοεισερχόμενους που θέλουν να χρησιμοποιήσουν σωστά αυτά τα μοντέλα τεχνητής νοημοσύνης. Είναι πολύ πιο εύκολο να ρωτάτε πράγματα με φυσικό τρόπο, όπως θα κάνατε με έναν άνθρωπο.
Για παράδειγμα, ας πούμε ότι θέλετε να διορθώσετε ορθογραφικά λάθη με το GPT-J. Ακολουθεί ένα παράδειγμα μιας προτροπής που πρέπει να χρησιμοποιήσετε:
I love goin to the beach.
Correction: I love going to the beach.
###
Let me hav it!
Correction: Let me have it!
###
It have too many drawbacks.
Correction: It has too many drawbacks.
###
I do not wan to go
Correction:Όπως μπορείτε να δείτε, δεν πρόκειται για κάτι πολύπλοκο, αλλά ούτε και για κάτι απλό. Αν ρυθμίσετε κατάλληλα το GPT-J, μπορεί να μετατραπεί σε ένα μοντέλο "εντολής", πράγμα που σημαίνει ότι μπορείτε πλέον να ρωτήσετε τα εξής:
Correct spelling and grammar from the following text.
I do not wan to goΚαι θα επιστρέψει τα εξής:
I do not want to go.Πολύ καλύτερα, έτσι δεν είναι; Πώς μπορούμε να το πετύχουμε αυτό;
Το Stanford Alpaca κυκλοφόρησε πριν από λίγες ημέρες. Πρόκειται για μια βελτιωμένη έκδοση του μοντέλου Llama, που αναπτύχθηκε από το Facebook. Δείτε περισσότερα για το έργο αυτό εδώ.
Βασικά, η ομάδα του Stanford Alpaca κατάφερε να δημιουργήσει ένα μοντέλο εντολών τελευταίας τεχνολογίας, συντονίζοντας το Llama σε ένα αρκετά μικρό σύνολο δεδομένων (52k παραδείγματα) που αποτελείται από ανθρώπινες οδηγίες. Το ενδιαφέρον είναι ότι δημιούργησαν αυτό το σύνολο δεδομένων προγραμματιστικά χρησιμοποιώντας ένα μεγαλύτερο γλωσσικό μοντέλο (GPT-3). Μπορείτε να κατεβάσετε το σύνολο δεδομένων εδώ.
Στο NLP Cloud προσπαθήσαμε να τελειοποιήσουμε το GPT-J χρησιμοποιώντας αυτό το σύνολο δεδομένων και πήραμε εκπληκτικά καλά αποτελέσματα!
Το νέο μοντέλο Instruct GPT-J που δημιουργήσαμε βρίσκεται τώρα στον κόμβο Hugging Face Hub, ώστε να μπορείτε να το χρησιμοποιήσετε εύκολα: κάντε κλικ εδώ για να δείτε το μοντέλο.
Δείτε πώς μπορείτε να χρησιμοποιήσετε το μοντέλο, χρησιμοποιώντας τους μετασχηματιστές προσώπου αγκαλιάς:
from transformers import pipeline
import torch
generator = pipeline(model="nlpcloud/instruct-gpt-j-fp16", torch_dtype=torch.float16, device=0)
prompt = "Correct spelling and grammar from the following text.\nI do not wan to go\n"
print(generator(prompt))
Ακολουθούν μερικές προτροπές που μπορείτε να δοκιμάσετε:
Write a short story about space.\nGenerate a C++ program that sorts a list of integers in ascending order.\nParaphrase the following text.\nAfter a war lasting 20 years, following the decision taken first by President Trump and then by President Biden to withdraw American troops, Kabul, the capital of Afghanistan, fell within a few hours to the Taliban, without resistance.\nSummarize the following text.\nFor all its whizz-bang caper-gone-wrong energy, and for all its subsequent emotional troughs, this week’s Succession finale might have been the most important in its entire run. Because, unless I am very much wrong, Succession – a show about people trying to forcefully mount a succession – just had its succession. And now everything has to change. The episode ended with Logan Roy defying his children by selling Waystar Royco to idiosyncratic Swedish tech bro Lukas Matsson. It’s an unexpected twist, like if King Lear contained a weird new beat where Lear hands the British crown to Jack Dorsey for a laugh, but it sets up a bold new future for the show. What will happen in season four? Here are some theories. Season three of Succession picked up seconds after season two ended. It was a smart move, showing the immediate swirl of confusion that followed Kendall Roy’s decision to undo his father, and something similar could happen here. This week’s episode ended with three of the Roy siblings heartbroken and angry at their father’s grand betrayal. Perhaps season four could pick up at that precise moment, and show their efforts to reorganise their rebellion against him. This is something that Succession undoubtedly does very well – for the most part, its greatest moments have been those heart-thumping scenes where Kendall scraps for support to unseat his dad – and Jesse Armstrong has more than enough dramatic clout to centre the entire season around the battle to stop the Matsson deal dead in its tracks.\nΣημειώστε ότι, λόγω του τρόπου με τον οποίο αυτό το μοντέλο έχει ρυθμιστεί, θα πρέπει πάντα να χρησιμοποιείτε νέες γραμμές στο τέλος των οδηγιών σας.
Αυτό το μοντέλο είναι μια έκδοση fp16 του λεπτομερώς ρυθμισμένου μοντέλου μας, το οποίο λειτουργεί πολύ καλά σε μια GPU με 16GB VRAM, όπως μια NVIDIA Tesla T4.
Δεν παρατηρήσαμε καμία διαφορά μεταξύ των εκδόσεων fp32 και fp16 όσον αφορά την ποιότητα.
Το GPT-J ήταν ήδη ένα πολύ καλό μοντέλο, και τώρα είναι ακόμη καλύτερο όταν χρησιμοποιείται ως εκπαιδευτικό μοντέλο.
Χάρη σε αυτή την τεχνική, ο καθένας μπορεί πλέον να μετατρέψει το γεννητικό μοντέλο τεχνητής νοημοσύνης του σε μοντέλο εντολών!
Αν έχετε ερωτήσεις ή σχόλια σχετικά με τα παραπάνω, μη διστάσετε να επικοινωνήσετε μαζί μας!.
François
Επιστήμονας δεδομένων στο NLP Cloud