Kas yra mokymasis su nuliniu šūviu ir kaip jis gali būti veiksmingai taikomas natūralios kalbos apdorojimui, teksto klasifikavimui, ačiū. Apglėbiančių veidų transformatorių?
Dėl naujausių modernių transformatoriais pagrįstų natūralios kalbos apdorojimo modelių, mokymasis be šūvio įgijo daug populiarumo natūralios kalbos apdorojimo pasaulyje. Idėja ta, kad dabar modelis gali atpažinti kai kurias klases, net jei jis nėra buvo tam apmokytas.
Tai yra natūralus žmonių elgesys. Pavyzdžiui, jei jūsų vaikas žino, kas yra kupranugaris, jums tereikia pasakyti jam, kad yra dar vienas gyvūnas, vadinamas dromedaru, labai panašus į kupranugarį, tik jis turi 1 kuprą. ant nugaros yra ne 2, o tik vienas kupranugaris! Kitą kartą, kai vaikas pamatys dromedarų nuotrauką, jis žinos, kas tai yra. jis jį matys pirmą kartą!
Taikant nulinės atrankos metodus, stebimos ir nestebimos klasės susiejamos per tam tikrą vadinamąją "pagalbinę" informaciją, kuri koduoja objektų skiriamąsias savybes. Tai buvo labai populiarus kompiuterinės regos technika, kuri dabar vis dažniau naudojama natūralios kalbos apdorojimo srityje.
Nulinio kadro mokymasis puikiai tinka teksto klasifikavimui. Teksto klasifikavimas - tai vieno ar daugiau kategorijų teksto daliai (erdvė, verslas, sportas ir t. t.).
Iki šiol teksto klasifikavimo modeliai galėjo klasifikuoti tik teksto dalis su iš anksto nustatytu skaičiumi kategorijų. Šios kategorijos turėjo būti nustatytos iš anksto mokymo metu. Tai buvo skausminga nes tai reiškė, kad kiekvieną kartą, kai norėjote pridėti kategoriją, turėjote iš naujo mokyti modelį su daugiau kategorijų. pavyzdžių.
Sukūrus daug didesnius natūralios kalbos apdorojimo modelius (dažniausiai paremtus transformatoriais), buvo galima modelius apmokyti tik pagal tam tikrą kategorijų sąrašą, o paskui leisti naudotojams kurti naujas kategorijas. kategorijų, nereikia iš naujo mokyti modelio.
Pavyzdžiui, tarkime, kad jūsų nulinės nuotraukos teksto klasifikavimo modelis buvo apmokytas atpažinti tik 3 kategorijas: kosmosas, gamta ir sportas. Jį vis tiek galite naudoti kitų kategorijų tekstams klasifikuoti, pavyzdžiui, verslo, maisto ar mokslo.
Tai labai galingas metodas, kuris suteikia daug lankstumo ir kartu duoda puikių rezultatų.
Yra puikių atvirojo kodo natūraliosios kalbos apdorojimo modelių, pagrįstų "Hugging Face Transformers", kurie veikia labai gerai tinka teksto klasifikavimui, kai nėra jokių nuotraukų.
"NLP Cloud" atrinko šiuos 2 modelius, kurie, mūsų nuomone, yra geriausi šiuolaikiniai modeliai, skirti šiuo metu yra geriausi modeliai teksto klasifikavimui:
Nors jų tikslumas yra įspūdingas, o vėlavimas - gana geras, šie 2 modeliai vis tiek yra skaičiavimams imlūs modeliai, o uždelsimas gali lengvai padidėti, jei norimas analizuoti tekstas tampa per daug didelis arba kandidatų kategorijų skaičius yra per didelis. Jei tikslumas nėra jūsų pagrindinis rūpestis ir jūs norėtumėte greitesnio ir mažiau išteklių reikalaujančio modelio, galite lengvai pasirinkti kitą modelį. . pavyzdžiui, egzistuoja distiliuotos "Bart" versijos, vadinamos "DistilBart", ir jos puikiai tam tinka.
Nulinio šūvio mokymasis ir kelių šūvių mokymasis, yra modernūs metodai, atsiradę kuriant didelius natūralios kalbos apdorojimo modelius. (daugiau apie mokymąsi iš kelių kadrų skaitykite čia). Jie suteikia daug lankstumo ir natūralios kalbos apdorojimas tampa vis įspūdingesnis!
Nedvejodami išbandykite nulinio šūvio klasifikaciją ir sužinokite, ar ji jums taip pat patinka.
Julien Salinas
NLP Cloud techninis direktorius