Čo je to učenie s nulovým počtom snímok a ako ho možno účinne použiť pri spracovaní prirodzeného jazyka na klasifikáciu textu? Objímajúce transformátory tvárí?
Vďaka najnovším moderným modelom spracovania prirodzeného jazyka založeným na transformátoroch získalo učenie s nulovým počtom snímok veľkú popularitu vo svete spracovania prirodzeného jazyka. Ide o to, že model teraz dokáže rozpoznať niektoré triedy, aj keď nemá bol na to vycvičený.
Ľudia to robia prirodzene. Ak napríklad vaše dieťa vie, čo je ťava, stačí, aby ste povedať mu, že existuje aj iné zviera, ktoré sa volá dromedár, veľmi podobné ťave, len má na sebe 1 hrb. namiesto dvoch! Keď vaše dieťa nabudúce uvidí obrázok dromedára, bude vedieť, čo to je, zatiaľ čo to bude prvýkrát, čo ho uvidí!
Techniky nulového záberu spájajú pozorované a nepozorované triedy prostredníctvom určitej formy tzv. "pomocných" informácií, ktoré kódujú rozlišovacie vlastnosti objektov. To bolo veľmi populárne technika v počítačovom videní, ktorá sa v súčasnosti čoraz viac využíva pri spracovaní prirodzeného jazyka.
Učenie s nulovým počtom snímok funguje skvele pri klasifikácii textu. Klasifikácia textu spočíva v použití jedného alebo viacerých kategórií na časť textu (vesmír, obchod, šport atď.).
Donedávna mohli modely klasifikácie textu kategorizovať len časti textu s vopred definovaným počtom kandidátskych kategórií. Tieto kategórie museli byť vopred nastavené počas trénovania. To bolo bolestivé pretože to znamenalo, že zakaždým, keď ste chceli pridať kategóriu, museli ste znovu trénovať model s viacerými príkladov.
Od vytvorenia oveľa väčších modelov spracovania prirodzeného jazyka (väčšinou založených na transformátoroch) sa možné trénovať modely len na určitom zozname kategórií a potom nechať používateľov vytvárať nové kategórie za behu bez toho, aby museli model znovu trénovať.
Povedzme napríklad, že váš model klasifikácie textu s nulovým počtom snímok bol vycvičený na rozpoznávanie iba 3 kategórie: vesmír, príroda a šport. Stále ho môžete použiť na kategorizáciu textov pre iné kategórie, ako napríklad obchod, jedlo alebo veda.
Ide o veľmi výkonnú techniku, ktorá umožňuje veľkú flexibilitu a zároveň prináša skvelé výsledky.
Existujú vynikajúce modely spracovania prirodzeného jazyka s otvoreným zdrojovým kódom založené na transformátoroch objatí tváre, ktoré fungujú veľmi dobre hodia na klasifikáciu textu s nulovým počtom snímok.
V spoločnosti NLP Cloud sme vybrali tieto 2 modely, ktoré sú podľa nášho názoru najlepšími modelmi na klasifikáciu textov s nulovým počtom snímok v súčasnosti:
Aj keď je ich presnosť pôsobivá a latencia pomerne dobrá, tieto 2 modely sú stále náročné na výpočty a latencia sa môže ľahko zvýšiť, ak sa text, ktorý chcete analyzovať, príliš veľký alebo počet kandidátskych kategórií je príliš vysoký. Ak presnosť nie je vaším hlavným záujmom a by ste uprednostnili rýchlejší model, ktorý je menej náročný na zdroje, môžete si ľahko vybrať iný model. Pre napríklad existujú destilované verzie modelu Bart, nazývané "DistilBart", a tie sú na to ideálne.
Učenie s nulovým počtom záberov spolu s učením s niekoľkými zábermi, sú moderné techniky, ktoré sa objavili pri vytváraní veľkých modelov spracovania prirodzeného jazyka (Viac informácií o štúdiu s niekoľkými zábermi nájdete tu). Poskytujú veľkú flexibilitu a robia spracovanie prirodzeného jazyka čoraz pôsobivejším!
Neváhajte a vyskúšajte klasifikáciu nulových snímok a zistite, či sa vám tiež páči.
Julien Salinas
Technický riaditeľ spoločnosti NLP Cloud