Mitä on nollakohtainen oppiminen ja miten sitä voidaan soveltaa tehokkaasti luonnollisen kielen käsittelyssä tekstin luokitteluun, kiitos. halailevien kasvomuuntajien avulla?
Viimeaikaisen huipputason muuntajapohjaisten luonnollisen kielen prosessointimallien ansiosta nollakohtainen oppiminen on saanut paljon huomiota. suosiota luonnollisen kielen prosessoinnin maailmassa. Ajatuksena on, että malli voi nyt tunnistaa joitakin luokkia, vaikka se ei olekaan ole koulutettu sitä varten.
Näin ihmiset tekevät luonnostaan. Jos lapsesi esimerkiksi tietää, mikä kameli on, sinun tarvitsee vain... kertoa hänelle, että on olemassa toinenkin eläin nimeltä dromedaari, joka on hyvin samankaltainen kuin kameli, paitsi että sillä on yksi kyttyräselkä. sen selässä on vain yksi kyttyrä kahden sijaan! Seuraavan kerran, kun lapsesi näkee kuvan dromedaarista, hän tietää, mikä se on. kun hän näkee sen ensimmäistä kertaa!
Zero-shot -tekniikoissa havaitut ja havaitsemattomat luokat yhdistetään jonkinlaisen ns. "aputietoa", joka koodaa kohteiden erottelevia ominaisuuksia. Tämä on ollut hyvin suosittu tekniikka tietokonenäköalalla jo pitkään, ja sitä käytetään nyt yhä enemmän luonnollisen kielen käsittelyssä.
Zero-shot-oppiminen toimii erinomaisesti tekstin luokittelussa. Tekstin luokittelussa on kyse yhden tai useamman kategoriaa tekstikappaleeseen (avaruus, liike-elämä, urheilu jne.).
Viime aikoihin asti tekstiluokittelumallit pystyivät luokittelemaan tekstikappaleita vain ennalta määritellyllä määrällä tekstiä. ehdokasluokkia. Nämä kategoriat oli asetettava etukäteen harjoittelun aikana. Tämä oli tuskallista koska se tarkoitti sitä, että aina kun halusi lisätä kategorian, malli piti kouluttaa uudelleen useammalla kategorialla. esimerkkejä.
Sen jälkeen, kun paljon suurempia luonnollisen kielen prosessointimalleja on luotu (useimmiten Transformereihin perustuvia), on ollut mahdollista kouluttaa mallit vain tietylle kategorialuettelolle ja antaa sitten käyttäjien luoda uusia luokkia. kategorioita lennossa ilman, että mallia tarvitsee kouluttaa uudelleen.
Oletetaan esimerkiksi, että nollakuvamalli on koulutettu tunnistamaan vain 3 kappaletta tekstiä. luokat: avaruus, luonto ja urheilu. Voit silti käyttää sitä luokittelemaan tekstejä muihin luokkiin, kuten esimerkiksi liiketoiminta, ruoka tai tiede.
Tämä on erittäin tehokas tekniikka, joka mahdollistaa paljon joustavuutta ja antaa silti hyviä tuloksia.
On olemassa erinomaisia avoimen lähdekoodin Natural Language Processing -malleja, jotka perustuvat Hugging Face Transformers -muuntimiin ja jotka toimivat. todella hyvin tekstin luokitteluun ilman kuvaa.
NLP Cloudissa valitsimme nämä kaksi mallia, jotka ovat mielestämme parhaita nykyaikaisia malleja seuraaviin tarkoituksiin. nollakuvauksen tekstiluokittelussa tällä hetkellä:
Vaikka niiden tarkkuus on vaikuttava ja viive on melko hyvä, nämä kaksi mallia ovat silti seuraavat laskentaintensiivisiä malleja, ja viive voi helposti kasvaa, jos analysoitava teksti kasvaa liian suureksi. suureksi tai ehdokasluokkien määrä on liian suuri. Jos tarkkuus ei ole ensisijainen huolenaiheesi, ja jos haluat mieluummin nopeamman ja vähemmän resursseja vaativan mallin, voit helposti valita toisen mallin. Osoitteessa Esimerkiksi Bartista on olemassa tislattuja versioita, joita kutsutaan nimellä "DistilBart", ja ne sopivat tähän tarkoitukseen erinomaisesti.
Nollapotku-oppiminen sekä muutaman potkun oppiminen, ovat nykyaikaisia tekniikoita, jotka ilmestyivät suurten luonnollisen kielen prosessointimallien luomisen yhteydessä. (katso lisää muutaman laukauksen oppimisesta täältä). Ne antavat paljon joustavuutta ja tekevät luonnollisen kielen käsittelystä yhä vaikuttavampaa!
Voit vapaasti kokeilla nollakuvaluokittelua ja nähdä, pidätkö siitä myös.
Julien Salinas
teknologiajohtaja, NLP Cloud