Що таке навчання з нульового пострілу і як його можна ефективно застосувати в обробці природної мови для класифікації текстів завдяки Hugging Face Transformers?
Завдяки нещодавнім сучасним трансформаторним моделям обробки природної мови, навчання з нуля набуло великої популярності у світі обробки природної мови. популярності у світі обробки природної мови. Ідея полягає в тому, що модель тепер може розпізнавати деякі класи, навіть якщо вона не не була навчена цьому.
Це те, що люди роблять від природи. Наприклад, якщо ваша дитина знає, що таке верблюд, вам просто потрібно сказати йому, що є ще одна тварина, яка називається дромедар, дуже схожа на верблюда, за винятком того, що вона має 1 горб на на спині замість 2! Наступного разу, коли малюк побачить картинку із зображенням дромедара, він буде знати, що це за тварина, а поки поки він бачить його вперше!
Методи "нульового пострілу" пов'язують спостережувані і неспостережувані класи за допомогою певної форми так званої "допоміжної" інформації, яка кодує відмінні властивості об'єктів. Це була дуже популярна техніка в комп'ютерному зорі протягом тривалого часу, яка зараз все більше і більше використовується в обробці природної мови.
Навчання з нуля чудово підходить для класифікації текстів. Класифікація тексту полягає у застосуванні однієї або декількох категорій до фрагменту тексту (космос, бізнес, спорт тощо).
До недавнього часу моделі класифікації текстів могли класифікувати фрагменти тексту лише за заздалегідь визначеною кількістю категорій-кандидатів. Ці категорії потрібно було встановлювати заздалегідь під час навчання. Це було болісно. оскільки це означало, що кожного разу, коли ви хотіли додати категорію, вам доводилося заново навчати свою модель на більшій кількості прикладів. прикладами.
З моменту створення набагато більших моделей обробки природної мови (здебільшого на основі трансформерів) з'явилася можливість навчати моделі лише за певним переліком категорій, а користувачам дозволяти можна було навчати моделі лише на певному переліку категорій, а потім дозволити користувачам створювати нові категорії "на льоту" без необхідності перенавчання моделі. категорії "на льоту" без необхідності перенавчання моделі.
Наприклад, припустимо, що ваша модель класифікації тексту з нульовим результатом була навчена розпізнавати лише 3 категорій: космос, природа і спорт. Ви все ще можете використовувати її для класифікації текстів для інших категорій, наприклад, бізнес, їжа або наука.
Це дуже потужна методика, яка забезпечує велику гнучкість і при цьому дає чудові результати.
Існують чудові моделі обробки природної мови з відкритим вихідним кодом, засновані на Hugging Face Transformers, які працюють дуже добре для класифікації тексту з нуля.
Ми в NLP Cloud вибрали ці 2 моделі, які, на нашу думку, є найкращими сучасними моделями для класифікації тексту з нуля на даний момент:
Навіть якщо їх точність вражає, а затримка досить хороша, ці 2 моделі все ще є обчислювальними моделями, і затримка може легко збільшитися, якщо текст, який ви хочете проаналізувати, стає занадто великим або кількість категорій кандидатів великим або кількість категорій кандидатів занадто велика. Якщо точність не є для вас першочерговим завданням, і ви ви віддаєте перевагу швидшій і менш ресурсоємній моделі, ви можете легко вибрати іншу модель. Наприклад наприклад, існують дистильовані версії Bart, які називаються "DistilBart", і вони ідеально підходять для цього.
Навчання з нульовою кількістю спроб, а також навчання з кількома спробами, є сучасними методами, що з'явилися зі створенням великих моделей обробки природної мови (Дізнайтеся більше про навчання з кількох пострілів тут). Вони надають велику гнучкість і роблять обробку природної мови все більш вражаючою!
Не соромтеся спробувати класифікацію з нульовим пострілом і подивіться, чи сподобається вона вам теж. Ви можете легко спробувати це на NLP Cloud!
Julien Salinas
CTO в NLP Cloud