自然言語処理におけるゼロショット学習によるテキスト分類

ゼロショット学習とは何か？自然言語処理において、テキスト分類にどのように効果的に適用できるのか？ ハグ顔トランスフォーマーのおかげです。

ゼロショット学習とは

最近の最先端の変換器ベースの自然言語処理モデルのおかげで、ゼロショット学習は、自然言語処理の世界で多くの人気を集めています。 自然言語処理の世界で人気を博しています。これは、あるモデルが、あるクラスを認識できるようになったら、そのクラスのために訓練されていなくても 認識できるようになるというものです。

これが人間の自然な行動です。例えば、あなたの子供がラクダを知っているなら、ラクダによく似たドロメダリーという動物がいることを教えてあげればいいのです。 ラクダによく似たドロメダリーという動物がいることを教えてあげればいいのですが、背中のこぶが2つではなく1つであることを除いては 背中のこぶが2つではなく1つなんだよ。次に子供がドロメダリーの写真を見たとき、それが何であるかを知ることができます。 次に子供がドロメダリーの写真を見るときには、それが何であるかを知っているでしょう。

ゼロショット法は、観察されたクラスと観察されなかったクラスを、対象物の識別特性をコード化した、いわゆる オブジェクトの特徴的な特性をコード化した、いわゆる「補助」情報によって、観察されたクラスと非観察されたクラスを関連付けます。これはコンピュータビジョンでは昔からよく使われてきた手法で コンピュータビジョンでは昔からよく使われている手法ですが、最近では自然言語処理でも使われるようになってきました。

ゼロショット学習とテキスト分類

ゼロショット学習は、テキスト分類に最適です。テキストの分類とは、1つまたは複数のカテゴリーを テキスト分類とは、1つ以上のカテゴリーをテキストの一部（宇宙、ビジネス、スポーツなど）に適用することです。

これまでのテキスト分類モデルでは、あらかじめ定義された数のカテゴリー候補でしかテキストを分類することができませんでした。 候補となるカテゴリーをあらかじめ設定しておく必要がありました。これらのカテゴリは、学習時にあらかじめ設定しておく必要がありました。これは苦痛でした。 これは、カテゴリを追加するたびに、より多くの例を使ってモデルを再学習しなければならないことを意味するからです。 の例を参照してください。

大規模な自然言語処理モデル（ほとんどの場合、トランスフォーマーをベースにしています）が開発されて以来、特定のカテゴリのリストのみでモデルを学習し、ユーザーが新しいカテゴリを作成することが可能になりました。 特定のカテゴリのリストだけでモデルを学習し、ユーザがその場で新しいカテゴリを作成しても、モデルを再学習する必要はありません。 モデルを再学習することなく、ユーザーに新しいカテゴリーを作成させることができるようになりました。

例えば、ゼロショットのテキスト分類モデルは、3つのカテゴリー（宇宙、自然、スポーツ）のみを認識するように訓練されているとします。 例えば、あなたのゼロショットテキスト分類モデルは、宇宙、自然、スポーツの3つのカテゴリーのみを認識できるように訓練されているとします。このモデルを使って、他のカテゴリーのテキストを分類することはできます。 例えば、ビジネス、食べ物、科学などです。

これは非常に強力なテクニックで、自由度が高く、しかも素晴らしい結果を得ることができます。

最高のゼロショット分類モデル

ハグ顔トランスフォーマーをベースにしたオープンソースの優れた自然言語処理モデルが存在します。 ゼロショットのテキスト分類に非常に適しています。

NLPクラウドでは、以下の2つのモデルを選択していますが、これらのモデルは、現在のところ、ゼロショットのテキスト分類に最適な最先端のモデルであると考えています。 ゼロショットテキスト分類のための最先端のモデルです。

精度が高く、待ち時間が短いといっても、この2つのモデルは計算量の多いモデルです。 分析したいテキストが大きすぎたり、候補となるカテゴリーの数が多すぎたりすると、待ち時間が長くなってしまいます。 候補となるカテゴリーの数が多すぎたり、分析したいテキストのサイズが大きすぎたりすると、レイテンシーが大きくなってしまいます。精度を重視せず、より速く、より少ないリソースで解析したい場合は 精度を重視せず、より高速でリソースを消費しないモデルを希望する場合は、他のモデルを選択することも容易です。例えば 例えば、Bartを蒸留したものは「DistilBart」と呼ばれていますが、これは完璧なものです。

結論

ゼロショット学習、少数ショット学習。 は、大規模な自然言語処理モデルの構築に伴って登場した最新の技術です。 (数撃ちゃ当たる」の詳細はこちら). 柔軟性に富み、自然言語処理を 自然言語処理がますます素晴らしくなります

ゼロショット分類を試してみて、気に入ったかどうかを確認してください。

Julien Salinas
NLP CloudのCTO