Ce este învățarea cu zero lovituri și cum poate fi aplicată în mod eficient, în procesarea limbajului natural, la clasificarea textelor, mulțumită transformatoarelor de fețe îmbrățișate?
Datorită modelelor recente de ultimă generație de procesare a limbajului natural pe bază de transformator, învățarea cu zero lovituri a câștigat o mulțime de popularitate în lumea procesării limbajului natural. Ideea este că un model poate acum să recunoască anumite clase, chiar dacă nu a fost antrenat pentru aceasta.
Aceasta este ceea ce fac ființele umane în mod natural. De exemplu, dacă copilul dumneavoastră știe ce este o cămilă, trebuie doar să spuneți-i că există un alt animal numit dromader, foarte asemănător cu cămila, cu excepția faptului că are o cocoașă pe spate în loc de 2! Data viitoare când copilul tău va vedea o poză cu un dromader, va ști ce este în timp ce este prima dată când vede unul!
Tehnicile de tip zero-shot asociază clasele observate și neobservate printr-o formă de așa-numită informații "auxiliare", care codifică proprietățile distinctive ale obiectelor. Aceasta a fost o metodă foarte populară tehnică foarte populară în domeniul vederii computerizate de mult timp, care este acum din ce în ce mai mult utilizată în procesarea limbajului natural.
Învățarea cu zero lovituri funcționează foarte bine pentru clasificarea textelor. Clasificarea textelor constă în aplicarea uneia sau mai multor categorii unui text (spațiu, afaceri, sport etc.).
Până de curând, modelele de clasificare a textelor puteau clasifica doar fragmente de text cu un număr predefinit de categorii candidate. Aceste categorii trebuiau să fie stabilite în prealabil în timpul antrenamentului. Acest lucru era dureros pentru că însemna că, de fiecare dată când doreați să adăugați o categorie, trebuia să vă antrenați din nou modelul cu mai multe categorii. exemple.
De la crearea unor modele de procesare a limbajului natural mult mai mari (de cele mai multe ori bazate pe transformatoare), a fost posibil să se antreneze modelele doar pe o anumită listă de categorii, iar apoi să se lase utilizatorii să creeze noi categorii noi din mers, fără a fi nevoie să antreneze din nou modelul.
De exemplu, să presupunem că modelul de clasificare a textului cu fotografiere zero a fost antrenat să recunoască doar 3 categorii: spațiu, natură și sport. Îl puteți utiliza în continuare pentru a clasifica texte pentru alte categorii, cum ar fi, de exemplu, afaceri, alimente sau știință.
Aceasta este o tehnică foarte puternică, care permite o mare flexibilitate, oferind în același timp rezultate excelente.
Există modele excelente de procesare a limbajului natural cu sursă deschisă, bazate pe transformatoare de fețe îmbrățișate, care funcționează. foarte bine pentru clasificarea textului fără fotografii.
La NLP Cloud am selectat aceste 2 modele care sunt, în opinia noastră, cele mai bune modele de ultimă generație pentru clasificarea textelor cu zero fotografii pentru moment:
Chiar dacă acuratețea lor este impresionantă și latența lor este destul de bună, aceste 2 modele sunt totuși modele care necesită un calcul intensiv, iar latența poate crește cu ușurință dacă textul pe care doriți să îl analizați devine prea mare sau dacă numărul de categorii candidate este prea mare. Dacă acuratețea nu este principala dvs. preocupare și dacă ați prefera un model mai rapid și mai puțin consumator de resurse, puteți alege cu ușurință un alt model. Pentru exemplu, există versiuni distilate ale lui Bart, denumite "DistilBart", care sunt perfecte pentru acest lucru.
Învățarea cu zero lovituri, împreună cu învățarea cu câteva lovituri, sunt tehnici moderne care au apărut odată cu crearea unor modele mari de procesare a limbajului natural (vezi mai multe despre învățarea cu câteva fotografii aici). Acestea oferă o mare flexibilitate și fac ca procesarea limbajului natural să fie din ce în ce mai impresionantă!
Nu ezitați să încercați clasificarea cu focuri de armă zero și să vedeți dacă vă place și dumneavoastră.
Julien Salinas
CTO la NLP Cloud