Какво представлява обучението с нулеви снимки и как може да се приложи ефективно в обработката на естествен език за класификация на текст? прегръщащи се лицеви трансформатори?
Благодарение на последните най-съвременни модели за обработка на естествен език, базирани на трансформатори, обучението с нулеви снимки придоби много популярност в света на обработката на естествен език. Идеята е, че моделът вече може да разпознава някои класове, дори ако не е е бил обучен за това.
Това е естественото поведение на хората. Например, ако детето ви знае какво е камила, просто трябва да да му кажете, че има и друго животно, наречено дромедар, много подобно на камилата, само че то има 1 гърбица на на гърба си вместо 2! Следващият път, когато детето ви види снимка на дромедар, то ще знае какво е това, докато за първи път ще види такъв!
Техниките на нулевия кадър свързват наблюдаваните и ненаблюдаваните класове чрез някаква форма на т.нар. "спомагателна" информация, която кодира отличителни свойства на обектите. Това е много популярна техника в компютърното зрение, която сега се използва все повече и повече в обработката на естествен език.
Обучението с нулеви снимки работи чудесно за класификация на текст. Класификацията на текстове е свързана с прилагането на един или повече категории към даден текст (пространство, бизнес, спорт и т.н.).
Доскоро моделите за класификация на текст можеха да категоризират само части от текст с предварително определен брой кандидат категории. Тези категории трябваше да бъдат зададени предварително по време на обучението. Това беше болезнено защото това означаваше, че всеки път, когато искате да добавите категория, трябва да обучавате модела си отново с повече категории. примери.
След създаването на много по-големи модели за обработка на естествен език (в повечето случаи базирани на трансформатори), беше възможно моделите да се обучават само по определен списък от категории, а след това да се позволи на потребителите да създават нови категории в движение, без да се налага да се обучава моделът отново.
Например, нека кажем, че вашият модел за класификация на текст с нулеви снимки е обучен да разпознава само 3 категории: пространство, природа и спорт. Все пак можете да го използвате за категоризиране на текстове за други категории, като например бизнес, храна или наука.
Това е много мощна техника, която позволява голяма гъвкавост и същевременно дава отлични резултати.
Съществуват отлични модели с отворен код за обработка на естествен език, базирани на трансформатори на прегръщащи се лица, които работят много добре за класификация на текст с нулеви снимки.
В NLP Cloud сме избрали тези 2 модела, които по наше мнение са най-добрите съвременни модели за класификация на текст с нулеви снимки за момента:
Въпреки че точността им е впечатляваща и латентността им е доста добра, тези 2 модела все още са и латентността може лесно да се увеличи, ако текстът, който искате да анализирате, стане твърде голям или броят на кандидат категориите е твърде голям. Ако точността не е основната ви грижа и предпочитате по-бърз и по-малко ресурсоемък модел, можете лесно да изберете друг модел. За например, съществуват дестилирани версии на Bart, наречени "DistilBart", и те са идеални за това.
Учене с нулеви изстрели, както и учене с няколко изстрела, са съвременни техники, които се появиха със създаването на големи модели за обработка на естествен език. (вижте повече за обучението с няколко изстрела тук). Те дават голяма гъвкавост и правят обработката на естествен език все по-впечатляваща!
Не се колебайте да опитате с класификацията с нулеви изстрели и да видите дали и на вас ви харесва.
Julien Salinas
Технически директор в NLP Cloud