Mis on nullpunkti õppimine ja kuidas saab seda tõhusalt rakendada loomuliku keele töötlemisel, teksti klassifitseerimisel, tänud kallistavate näotransformaatorite abil?
Tänu hiljutistele tipptasemel transformaatoritel põhinevatele loomuliku keele töötlemise mudelitele on nullist õppimine saavutanud palju populaarsust loodusliku keeletöötluse maailmas. Idee seisneb selles, et mudel suudab nüüd ära tunda mõned klassid, isegi kui see ei ole selle jaoks välja õpetatud.
See on see, mida inimesed loomulikult teevad. Näiteks kui teie laps teab, mis on kaamel, siis tuleb lihtsalt talle öelda, et on olemas veel üks loom nimega dromedar, mis on väga sarnane kaameliga, ainult et tal on 1 kühmu seljas on 2 asemel ainult üks kops! Järgmine kord, kui teie laps näeb dromedari pilti, teab ta, mis see on. ta näeb seda esimest korda!
Zero-shot meetodid seostavad vaadeldavad ja mittevaateldavad klassid mingi nn. "abiinformatsiooni" kaudu, mis kodeerib objektide eristavaid omadusi. See on olnud väga populaarne tehnika arvutinägemises juba pikka aega, mida nüüd üha enam kasutatakse ka loomulikus keeletöötluses.
Nullpunkti õppimine töötab suurepäraselt teksti klassifitseerimisel. Teksti klassifitseerimine seisneb ühe või mitme kategooriaid tekstile (ruum, äri, sport jne).
Kuni viimase ajani suutsid tekstide klassifitseerimise mudelid liigitada ainult tekstiosasid, mille puhul oli etteantud hulk kategooriaid. Need kategooriad tuli koolituse käigus eelnevalt määrata. See oli valus sest see tähendas, et iga kord, kui soovisite lisada uue kategooria, pidite oma mudelit uuesti treenima, kasutades rohkem kategooriaid. näidetega.
Alates palju suuremate loodusliku keele töötlemise mudelite loomisest (mis enamasti põhinevad Transformeritel) on olnud võimalik treenida mudeleid ainult konkreetse kategooriate nimekirja alusel ja lasta kasutajatel seejärel luua uusi kategooriaid jooksvalt, ilma et nad peaksid mudelit uuesti treenima.
Oletame näiteks, et teie nulltekstide klassifitseerimise mudel on koolitatud tuvastama ainult 3 kategooriaid: kosmos, loodus ja sport. Te saate seda siiski kasutada tekstide liigitamiseks teiste kategooriate jaoks, nagu näiteks äri, toit või teadus.
See on väga võimas tehnika, mis võimaldab palju paindlikkust, andes samas suurepäraseid tulemusi.
On olemas suurepärased avatud lähtekoodiga loodusliku keele töötlemise mudelid, mis põhinevad Hugging Face Transformers'il ja mis töötavad väga hästi tekstide klassifitseerimiseks nullistamise teel.
NLP Cloudis valisime välja need 2 mudelit, mis on meie arvates parimad tipptasemel mudelid, mis sobivad tekstide klassifitseerimiseks nullistamise teel:
Isegi kui nende täpsus on muljetavaldav ja nende latentsus on üsna hea, on need 2 mudelit ikkagi arvutusmahukad mudelid ja latentsus võib kergesti suureneda, kui analüüsitav tekst muutub liiga suureks. suureks või kandidaadikategooriate arv on liiga suur. Kui täpsus ei ole teie esmane mure ja te eelistaksite kiiremat ja vähem ressursimahukat mudelit, võite hõlpsasti valida mõne teise mudeli. Sest näiteks on olemas Bart'i destilleeritud versioonid, mida nimetatakse "DistilBart", ja need sobivad selleks suurepäraselt.
Nulltäppide õppimine koos väheste löökide õppimisega, on moodsad tehnikad, mis ilmusid koos suurte loodusliku keele töötlemise mudelite loomisega. (vaata lähemalt paari kaadri õppimise kohta siit). Nad annavad palju paindlikkust ja muudavad loomulikku keeletöötlust üha muljetavaldavamaks!
Proovige julgelt nullistamise klassifikatsiooni ja vaadake, kas see ka teile meeldib.
Julien Salinas
NLP Cloud tehnoloogiajuht