spaCyに基づくトークン化とレンマタイゼーションAPI

トークン化とは何か？

トークン化とは、テキストをトークンと呼ばれる小さなエンティティに分割することです。トークンは、使用するトークナイザーの種類によって異なります。トークンには、単語、文字、またはサブワードがあります（たとえば、英単語の "higher", には2つのサブワードがある： "high" そして "er"). !"、"."、"; "などの句読点もトークンになり得る。

トークン化は、あらゆる自然言語処理の基本的なステップである。様々な言語構造が存在するため、トークン化は言語ごとに異なります。

レンマタイゼーションとは？

レンマ化とは、単語の基本形を抽出することである（一般的には辞書に載っているような作業）。例えば、"apple "のレンマは "apple "のままだが、"is "のレンマは "be "となる。

レンマタイゼーションは、トークン化と同様、自然言語処理における基本的なステップである。様々な言語構造が存在するため、レンマタイゼーションは言語ごとに異なる。

トークン化

なぜトークン化とレンマタイゼーションを使うのか？

通常、トークン化とレマタイゼーションは単独で使用されることはなく、自然言語処理パイプラインの最初のステップとして使用されます。トークン化は、多くの場合、自然言語処理モデルのパフォーマンスに大きく影響するコストのかかる操作であるため、トークナイザーの選択は重要です。

NLPクラウドのトークン化とレンマタイゼーションAPI

NLPクラウドは、spaCyとGiNZAに基づき、優れたパフォーマンスでトークン化とレマタイゼーションをすぐに実行できるトークン化とレマタイゼーションのAPIを提案します。トークン化とレムマタイゼーションはリソースをあまり消費しないため、NLPクラウドAPIから実行する際の応答時間（レイテンシ）は非常に低くなります。15種類の言語で実行できます。

詳細については、トークン化とレマタイゼーションに関するドキュメントを参照してください。これ.

トークン化／レマタイゼーションを試す
無料

よくある質問

トークン化とは何か、なぜテキスト分析で重要なのか？

トークン化とは、テキストをトークンと呼ばれる単語、フレーズ、記号などの小さな単位に分解するプロセスです。データを構造化し、より正確な構文解析を可能にし、センチメント分析やトピックモデリングなどのタスクを容易にするため、テキスト分析において非常に重要です。

レムマタイゼーションとステミングはどのように違うのですか?

レンマタイゼーションでは、意味や品詞を考慮して、単語を基本形または辞書形式に変換します。一方、ステミングでは、文脈を考慮せずに、接頭辞や接尾辞を単純に削除します。センチメント分析など、高い言語的精度が要求されるタスクにはレムマ化を選択し、完全な精度がそれほど重要でないアプリケーションでは、処理を高速化するためにステミングを選択することができます。

スパシーとは？

spaCyは、高度な自然言語処理(NLP)のためのオープンソースのソフトウェアライブラリで、特にプロダクション用に設計されています。事前に訓練された統計モデルと単語ベクトルを提供し、トークン化、名前付きエンティティ認識、品詞タグ付け、係り受け解析などの自然言語処理機能をサポートします。

GiNZAとは？

GiNZAはオープンソースの日本語自然言語処理(NLP)ライブラリで、spaCyの上に構築されています。トークン化、レンマタイゼーション、固有表現認識など、日本語に特化した高度なNLP機能を提供します。

このトークナイゼーション／レマタイゼーションAPIでサポートされている言語やロケールは何ですか？

spaCyとGiNZAをベースとしたトークン化/レマタイゼーションAPIは15言語をサポートしています。

トークン化／レマタイゼーションAPIを無料で試すことはできますか？

はい、NLPクラウドの他のAPIエンドポイントと同様に、トークン化/レマタイゼーションAPIは無料でテストできます。

貴社のAI APIは、トークン化／レマタイゼーション・プロセスにおいて、データのプライバシーとセキュリティをどのように扱っていますか？

NLPクラウドは設計上データプライバシーに重点を置いています。NLPクラウドはAPIでお客様が行ったリクエストの内容を記録したり保存したりしません。NLPクラウドはHIPAAとGDPRの両方に準拠しています。