Mi az a zéró-shot tanulás, és hogyan lehet hatékonyan alkalmazni a természetes nyelvfeldolgozásban, a szövegek osztályozására, köszönöm. az ölelkező arctranszformátoroknak köszönhetően?
A legújabb korszerű transzformátor-alapú természetes nyelvfeldolgozási modelleknek köszönhetően a nullszori tanulás sok népszerűségre tett szert a természetes nyelvfeldolgozás világában. Ennek lényege, hogy egy modell már képes felismerni bizonyos osztályokat, még akkor is, ha még nem nem erre lett betanítva.
Ez az, amit az emberi lények természetüknél fogva tesznek. Ha például a gyereke tudja, hogy mi az a teve, akkor csak annyit kell tennie, hogy hogy van egy másik állat, a dromedár, ami nagyon hasonlít a tevére, csak 1 púp van rajta. a hátán 2 helyett csak egy púpja van! Legközelebb, amikor a gyermeked meglát egy dromedár képet, tudni fogja, hogy mi az. amikor először lát ilyet!
A zéró lövéses technikák a megfigyelt és a meg nem figyelt osztályokat valamilyen ún. "segédinformáció" segítségével, amely az objektumok megkülönböztető tulajdonságait kódolja. Ez egy nagyon népszerű technika a számítógépes látásban, amelyet mostanában egyre gyakrabban alkalmaznak a természetes nyelvfeldolgozásban.
A zéró lövéses tanulás nagyszerűen működik a szövegosztályozásban. A szövegosztályozás egy vagy több kategóriák (űr, üzlet, sport, stb.) egy szövegdarabra.
A közelmúltig a szövegosztályozó modellek csak előre meghatározott számú szövegdarabot tudtak kategorizálni. kategóriajelöltekből. Ezeket a kategóriákat a képzés során előre be kellett állítani. Ez fájdalmas volt mert ez azt jelentette, hogy minden alkalommal, amikor új kategóriát akartunk hozzáadni, újra kellett képezni a modellt több kategóriával. példákkal.
A sokkal nagyobb természetes nyelvi feldolgozó modellek létrehozása óta (amelyek többnyire Transformereken alapulnak), már lehetőség van arra, hogy a modelleket csak a kategóriák egy meghatározott listáján képezzük ki, majd a felhasználók új kategóriákat hozzanak létre. kategóriákat a modell újratanítása nélkül.
Tegyük fel például, hogy az Ön nulla lövéses szövegosztályozó modelljét úgy képezték ki, hogy csak 3 kategóriára: űr, természet és sport. Ettől még használhatja más kategóriákhoz tartozó szövegek kategorizálására, mint például az üzleti élet, az élelmiszeripar vagy a tudomány.
Ez egy nagyon hatékony technika, amely nagy rugalmasságot tesz lehetővé, miközben nagyszerű eredményeket ad.
Vannak kiváló nyílt forráskódú természetes nyelvfeldolgozó modellek, amelyek az Hugging Face Transformers-en alapulnak, és működnek. nagyon jól működnek a nulla felvételes szövegosztályozáshoz.
Az NLP Cloudnál ezt a 2 modellt választottuk ki, amelyek véleményünk szerint a legjobb, legkorszerűbb modellek a következőkhöz szövegosztályozásra jelenleg:
Még ha a pontosságuk lenyűgöző is, és a késleltetésük is elég jó, ez a 2 modell még mindig számításigényes modellek, és a késleltetés könnyen megnövekedhet, ha az elemezni kívánt szöveg túlságosan is vagy a kategóriák száma túl nagy lesz. Ha nem a pontosság az elsődleges szempont, és a gyorsabb és kevésbé erőforrás-igényes modellt szeretne, könnyen választhat egy másik modellt. A oldalon. Például léteznek a Bart desztillált változatai, az úgynevezett "DistilBart", és ezek tökéletesen alkalmasak erre a célra.
Nulla lövéses tanulás, valamint néhány lövéses tanulás, olyan modern technikák, amelyek a nagy természetes nyelvfeldolgozási modellek létrehozásával jelentek meg. (többet megtudhatsz a few-shot tanulásról itt). Nagy rugalmasságot és egyre lenyűgözőbbé teszik a természetes nyelvi feldolgozást!
Nyugodtan próbáld ki a nulla lövéses osztályozást, és nézd meg, hogy neked is tetszik-e.
Julien Salinas
CTO az NLP Cloud-nál