基于 spaCy 的令牌化和 Lemmatization API

什么是令牌化？

标记化就是将文本分割成更小的实体，称为标记。根据使用的标记符类型不同，标记符的含义也不同。标记可以是一个单词、一个字符或一个子单词（例如，在英语单词 "higher", 有 2 个子词： "high" 和 "er"). 标点符号如"！"、". "和"；"也可以是标记。

标记化是每个自然语言处理操作的基本步骤。鉴于现有的语言结构多种多样，每种语言的标记化都不尽相同。

词母化是指提取一个词的基本形式（通常是词典中可以找到的那种形式）。例如，"apple "的词目仍然是 "apple"，而 "is "的词目则是 "be"。

词法化和标记化一样，是每个自然语言处理操作的基本步骤。鉴于现有的语言结构多种多样，词法化在每种语言中都不尽相同。

令牌化

您通常不会单独使用标记化和词法化，而是将其作为自然语言处理管道的第一步。标记化通常是一项成本高昂的操作，会严重影响自然语言处理模型的性能，因此标记化器的选择非常重要。

NLP Cloud 提供令牌化和词素化应用程序接口（API），让您可以基于 spaCy 和 GiNZA 执行令牌化和词素化，而且性能卓越。标记化和词法化并不非常耗费资源，因此通过 NLP Cloud API 执行时的响应时间（延迟）非常短。您可以使用 15 种不同的语言来执行。

更多详情，请参阅我们关于标记化和词法化的文档这里.

标记化是将文本分解成更小单位的过程，如单词、短语或符号，即标记。在文本分析中，标记化对于结构化数据、实现更准确的解析以及促进情感分析和主题建模等任务至关重要。

词法化涉及将一个词还原为其基本形式或字典形式，并考虑到其含义和语篇，而词干化只是简单地去除前缀和后缀，不考虑上下文。对于情感分析等对语言准确性要求较高的任务，您可以选择词素化，而对于准确性要求不高的应用，则可以选择词干化来加快处理速度。

spaCy 是一个用于高级自然语言处理（NLP）的开源软件库，专为生产用途而设计。它提供预训练的统计模型和词向量，并支持标记化、命名实体识别、部分语音标记和依赖关系解析等 NLP 功能。

GiNZA 是一个开源的日语自然语言处理（NLP）库，建立在 spaCy 的基础之上。它提供先进的 NLP 功能，如标记化、词法化和专为日语定制的命名实体识别。

我们基于 spaCy 和 GiNZA 的标记化/格式化应用程序接口支持 15 种语言

是的，与 NLP Cloud 上的所有 API 端点一样，令牌化/格式化 API 可以免费测试。

NLP Cloud在设计上注重数据隐私：我们不会记录或存储您对我们API所做请求的内容。NLP Cloud符合HIPAA和GDPR标准。