Kaj je učenje z ničelnim posnetkom in kako ga je mogoče učinkovito uporabiti pri obdelavi naravnega jezika za razvrščanje besedil? preoblikovalcem objemajočega obraza?
Zahvaljujoč nedavnim najsodobnejšim modelom za obdelavo naravnega jezika, ki temeljijo na transformatorjih, je učenje z ničelnim posnetkom pridobilo veliko priljubljenost v svetu obdelave naravnega jezika. Ideja je, da lahko model zdaj prepozna nekatere razrede, tudi če še ni za to usposobljen.
To je naravno človeško početje. Če vaš otrok na primer ve, kaj je kamela, morate mu morate povedati, da obstaja še ena žival, imenovana dromedar, ki je zelo podobna kameli, le da ima eno grbo na namesto dveh! Ko bo vaš otrok naslednjič videl sliko dromedarja, bo vedel, kaj to je, medtem ko pa ga bo videl prvič!
Tehnike ničelnega posnetka povezujejo opazovane in neopazovane razrede z neko obliko t. i. "pomožnih" informacij, ki kodirajo razlikovalne lastnosti predmetov. To je bilo zelo priljubljeno tehnika v računalniškem vidu, ki se zdaj vse pogosteje uporablja pri obdelavi naravnega jezika.
Učenje z ničelnim posnetkom se odlično obnese pri razvrščanju besedil. Pri razvrščanju besedila gre za uporabo enega ali več kategorij na del besedila (prostor, posel, šport itd.).
Do nedavnega so lahko modeli za razvrščanje besedil kategorizirali le dele besedila z vnaprej določenim številom kandidatnih kategorij. Te kategorije je bilo treba med usposabljanjem določiti vnaprej. To je bilo boleče ker je pomenilo, da je bilo treba vsakič, ko ste želeli dodati kategorijo, model ponovno usposobiti z več primeri.
Odkar so bili izdelani veliko večji modeli za obdelavo naravnega jezika (večinoma na podlagi transformatorjev), je bilo mogoče modele usposobiti le na določenem seznamu kategorij, nato pa uporabnikom omogočiti, da ustvarijo nove kategorije, ne da bi bilo treba model ponovno usposobiti.
Recimo, da je bil vaš model za razvrščanje besedila brez posnetka usposobljen za prepoznavanje le 3 kategorije: prostor, narava in šport. Še vedno ga lahko uporabite za razvrščanje besedil za druge kategorije, kot so na primer posel, hrana ali znanost.
To je zelo močna tehnika, ki omogoča veliko prilagodljivosti, hkrati pa daje odlične rezultate.
Na voljo so odlični odprtokodni modeli za obdelavo naravnega jezika, ki temeljijo na transformaciji objema obraza in delujejo za klasifikacijo besedila brez posnetka.
V NLP Cloud smo izbrali ta dva modela, ki sta po našem mnenju najboljša najsodobnejša modela za zaenkrat najboljša modela za razvrščanje besedil z ničelnim posnetkom:
Čeprav je njuna natančnost impresivna in zakasnitev precej dobra, sta ta dva modela še vedno modela, ki zahtevata veliko računanja, in zakasnitev se lahko zlahka poveča, če besedilo, ki ga želite analizirati, postane preveč veliko ali je število kandidatnih kategorij preveliko. Če natančnost ni vaša glavna skrb in če bi raje izbrali hitrejši model, ki zahteva manj virov, lahko preprosto izberete drug model. Za na primer, obstajajo destilirane različice modela Bart, imenovane "DistilBart", ki so kot nalašč za to.
Učenje z ničelnim posnetkom in učenje z nekaj posnetki, sta sodobni tehniki, ki sta se pojavili z ustvarjanjem velikih modelov obdelave naravnega jezika. (Več o učenju z nekaj posnetki si oglejte tukaj). Omogočajo veliko prilagodljivosti in obdelava naravnega jezika postaja vse bolj impresivna!
Preizkusite klasifikacijo brez posnetka in preverite, ali vam je tudi všeč.
Julien Salinas
Tehnični direktor v podjetju NLP Cloud