Was ist Zero-Shot-Learning, und wie kann es in NLP dank der Hugging Face Transformers effektiv auf die Textklassifizierung angewendet werden? Umarmende Gesichtstransformatoren?
Dank der modernen transformatorbasierten NLP-Modelle hat das Zero-Shot-Lernen in der NLP-Welt eine große Popularität in der NLP-Welt gewonnen. Die Idee dahinter ist, dass ein Modell nun einige Klassen erkennen kann, auch wenn es nicht dafür trainiert wurde.
Das ist das, was der Mensch von Natur aus tut. Wenn Ihr Kind zum Beispiel weiß, was ein Kamel ist, müssen Sie ihm nur sagen, dass es ein anderes Tier namens Dromedar gibt, das dem Kamel sehr ähnlich ist, nur dass es einen Höcker auf dem Rücken hat Buckel auf dem Rücken hat, statt 2! Wenn Ihr Kind das nächste Mal ein Bild von einem Dromedar sieht, wird es wissen, was es ist, auch wenn es das erste Mal eines sieht!
Zero-Shot-Techniken assoziieren beobachtete und nicht beobachtete Klassen durch eine Form der sogenannten "Hilfsinformationen", die Unterscheidungsmerkmale von Objekten kodieren. Dies ist seit langem eine sehr beliebte Technik in der Computer Vision, die nun mehr und mehr im NLP eingesetzt wird.
Zero-Shot-Learning eignet sich hervorragend für die Textklassifizierung. Bei der Textklassifizierung geht es um die Anwendung einer oder mehrerer Kategorien auf ein Stück Text (Raum, Wirtschaft, Sport usw.).
Bis vor kurzem konnten Textklassifizierungsmodelle nur Textstücke mit einer vordefinierten Anzahl von Kandidatenkategorien kategorisieren. Diese Kategorien mussten beim Training im Voraus festgelegt werden. Das war mühsam denn jedes Mal, wenn Sie eine Kategorie hinzufügen wollten, mussten Sie Ihr Modell mit mehr Beispielen neu trainieren. Beispielen.
Seit der Entwicklung viel größerer NLP-Modelle (meist auf der Grundlage von Transformers) ist es möglich ist es möglich, die Modelle nur auf eine bestimmte Liste von Kategorien zu trainieren und den Benutzern Kategorien zu erstellen, ohne dass das Modell neu trainiert werden muss.
Nehmen wir zum Beispiel an, dass Ihr Modell für die Klassifizierung von Texten mit Nullschüssen darauf trainiert wurde, nur 3 Kategorien zu erkennen Kategorien zu erkennen: Raum, Natur und Sport. Sie können es dennoch verwenden, um Texte für andere Kategorien zu kategorisieren, wie z. B. Wirtschaft, Lebensmittel oder Wissenschaft.
Dies ist eine sehr leistungsfähige Technik, die viel Flexibilität erlaubt und dennoch großartige Ergebnisse liefert.
Es gibt hervorragende Open-Source-NLP-Modelle, die auf Hugging Face Transformers basieren und die die sehr gut für die Klassifizierung von Texten in Nullkommanichts funktionieren.
Bei NLP Cloud haben wir diese 2 Modelle ausgewählt, die unserer Meinung nach die besten State-of-the-Art-Modelle für für die Klassifizierung von Texten auf der Basis von Nullschüssen sind:
Auch wenn ihre Genauigkeit beeindruckend und ihre Latenzzeit recht gut ist, sind diese 2 Modelle dennoch rechenintensive Modelle, und die Latenzzeit kann leicht ansteigen, wenn der zu analysierende Text zu groß wird zu groß wird oder die Anzahl der zu analysierenden Kategorien zu hoch ist. Wenn die Genauigkeit nicht Ihr Hauptanliegen ist, und Sie ein schnelleres und weniger ressourcenintensives Modell bevorzugen, können Sie einfach ein anderes Modell wählen. Für gibt es zum Beispiel destillierte Versionen von Bart, genannt "DistilBart", die sich perfekt für diese Aufgabe eignen.
Zero-Shot-Lernen, zusammen mit few-shot-Lernen, sind moderne Techniken, die bei der Erstellung großer NLP-Modelle entstanden sind. Sie bieten eine große Flexibilität und machen Natural Language Processing immer eindrucksvoller!
Probieren Sie doch einmal die Zero-Shot-Klassifizierung aus und sehen Sie, ob sie auch Ihnen gefällt.
Julien Salinas
CTO bei NLP Cloud