生成AIによる名前付き固有表現認識（NER）API

NERとは何か？

NERとはNamed Entity Recognitionの略。これは、テキスト中の名前付きエンティティを識別し、人名、組織名、場所、時間、数量、金額、パーセンテージなどのあらかじめ定義されたカテゴリーに分類するサブタスクである。

ChatGPT、GPT-3.5、GPT-4、LLaMA 3、Yi 34B、Mixtral 8x7Bのような生成モデルは、エンティティ抽出が得意です。

NERは質問応答、テキスト要約、機械翻訳など多くのNLPアプリケーションにとって極めて重要である。なぜならNERはテキストの重要な要素に関する詳細な情報を提供し、より深い理解と処理を可能にするからである。例えば、あるテキストで「パリ」がある場所を指していることを知れば、そのテキストの解釈やNLPシステムが生成するレスポンスに大きな影響を与えることができる。

次のような文章があるとしよう：

ジョン・ドウはグーグルのウェブ開発者である。

あなたは、"John Doe "が名前であり、"Web developer "が職種であり、"Google "が会社であることを自動的に検出したい。そして、これこそがNERがやろうとしていることなのだ。

NERアノテーション

エンティティ抽出の使用例

世界は非構造化データ、特にウェブで溢れている。そこから構造化された情報を抽出することができれば、多くの貴重な情報にアクセスすることができる。いくつか例を挙げよう。

顧客リクエストを並べ替える

多くの顧客からのリクエスト（サポート、セールス、...）に対応する場合、これらのリクエストを自動的にソートするためにNERを適用することは間違いなく役立ちます。例えば、リクエストに記載された製品の種類を自動的に抽出し、それに応じて適切なサービスにルーティングすることができます。

財務データの抽出

財務データの抽出と統合には時間がかかり、面倒な作業です。NERは適切なデータを瞬時に抽出する手助けをすることで、生産性を確実に向上させることができます。



履歴書／応募書類の前処理

HRサービスは、これらのアプリケーションをすべて読むのに苦労することがある。時間を節約するために、会社名やスキルなどの興味深いエンティティを自動的にハイライトすることは、彼らにとって興味深いことかもしれない。

リードの抽出

B2Bのリードの多くは公開されているウェブサイトや会社案内で見つけることができますが、手作業で抽出するのは時に手間がかかります。NERのおかげで、人物、役職、会社が存在すれば自動的に抽出することができます。

NLPクラウドのNER API

NLPクラウドは、spaCy、Ginza、またはGPT-4、GPT-3.5、ChatGPTに相当する、LLaMA 3、Dolphin、Yi 34B、Mixtral 8x7Bなどの高度な生成AIモデルに基づいて、すぐに名前付き固有表現認識を実行できる固有表現抽出APIを提案します。特定の文書に対する高度な固有表現抽出については、NLPクラウド上のNER用に独自の生成モデルを微調整することをお勧めします。

詳細については、エンティティ抽出に関するドキュメントを参照してください。 これ. 高度な使用法については、テキスト生成APIエンドポイント これ. エンティティ抽出のテストも簡単に 私たちの運動場で。

NERをローカルでテストすることと、本番で確実に使うことは別のことです。NLPクラウドではその両方ができます！

NERを試す
無料

よくある質問

名前付き固有表現認識（NER）とは？

名前付きエンティティ認識(NER)は情報抽出のサブタスクであり、テキスト中の名前付きエンティティを識別し、人名、組織名、場所、時間、数量、金額、パーセンテージなどの表現など、あらかじめ定義されたカテゴリに分類する。情報検索、質問応答システム、知識抽出に使用される自然言語処理（NLP）の基本技術である。

NERでよく使われるカテゴリーとは？

名前付き固有表現認識（NER）で使われる一般的なカテゴリーには、人名、組織、場所、日付、時間、金額、パーセンテージ、数量などがある。これらのカテゴリは、情報抽出や分析のためにテキスト中の重要な要素を識別・分類するのに役立つ。

最新のNERシステムは、言語の曖昧さや複雑な構造をどのように扱っているのだろうか？

最新の固有表現認識（NER）システムは、高度な機械学習アルゴリズム、特にリカレントニューラルネットワーク（RNN）やトランスフォーマーなどのディープラーニングアーキテクチャを活用して、テキスト内の文脈や意味的関係を分析し、曖昧性や複雑な言語構造を管理できるようにする。膨大な量の注釈付き学習データと事前に訓練された言語モデルを活用することで、曖昧な表現や複雑な構文が存在する場合でも、エンティティを正確に予測します。

NERシステムは新しいエンティティや未知のエンティティを認識できるか？

NER（Named Entity Recognition）システムは、主に学習済みのエンティティを認識するが、新しいエンティティや未知のエンティティを認識する能力は、学習データの一般性とアルゴリズムの適応性に依存する。一部の高度なシステム、特にディープラーニングと文脈理解を採用したシステムは、エンティティが現れる文脈から学習することによって、以前に見たことのないエンティティを識別するように推論または汎化することができます。NLPクラウドでは、新しいエンティティや未知のエンティティを完璧に認識することができます！

エンティティ抽出のために、御社のAI APIはどの言語をサポートしていますか？

100言語のエンティティ抽出をサポート

AI APIはどれくらいのスピードで実体を返すのか？

テキストのサイズや使用しているAIモデルによって異なります。一般的に、応答時間は数秒程度です。

NERの精度を評価するには？

名前付き固有表現認識（NER）システムの精度を評価するには、通常、真陽性、偽陽性、偽陰性に基づく精度、想起、F1スコアを使用します。これらのメトリクスは、手動でアノテーションされたゴールド・スタンダードまたはグランド・トゥルースに対してシステムの出力を比較し、システムがどの程度名前付きエンティティを識別および分類しているかを判断します。

NER APIを無料で試すことはできますか？

はい、NLPクラウド上のすべてのモデルと同様に、NER APIエンドポイントは無料でテストできます。

貴社のAI APIは、エンティティの抽出プロセスにおいて、データのプライバシーとセキュリティをどのように扱っていますか？

NLPクラウドは設計上データプライバシーに重点を置いています。NLPクラウドはAPIでお客様が行ったリクエストの内容を記録したり保存したりしません。NLPクラウドはHIPAAとGDPRの両方に準拠しています。
NERを試す
無料