什么是零点学习,以及如何在自然语言处理中有效地应用于文本分类,由于 拥抱式人脸变换器?
由于最近最先进的基于变换器的自然语言处理模型,零点学习已经在自然语言处理领域获得了很大的知名度。 在自然语言处理领域获得了很大的普及。这个想法是,一个模型现在可以识别一些类别,即使它没有经过训练。 被训练过。
这是人类自然的行为。例如,如果你的孩子知道什么是骆驼,你只需要告诉他还有一种动物叫单峰骆驼,与骆驼非常相似,只是它有一个驼峰。 告诉他还有一种动物叫单峰驼,与骆驼非常相似,只是它的背上有一个驼峰,而不是两个驼峰。 它的背上有一个驼峰,而不是两个!下次你的孩子看到单峰骆驼的图片时,他就会知道它是什么,而 这是他第一次看到单峰驼!
零点技术通过某种形式的所谓 "辅助 "信息将观察到的和未观察到的类别联系起来。 "辅助 "信息,即编码对象的区别属性。这已经是计算机视觉中非常流行的一种 技术,现在越来越多地被用于自然语言处理中。
零点学习对文本分类非常有效。文本分类是指将一个或多个 类别(空间、商业、体育等)。
直到最近,文本分类模型只能用预先定义好的一些候选类别对文本进行分类。 候选类别。这些类别必须在训练期间预先设定。这是很痛苦的 因为这意味着,每当你想增加一个类别时,你必须用更多的例子重新训练你的模型。 例子。
自从创建了更大的自然语言处理模型(大多数情况下是基于变形金刚)后,就可以只在特定的类别列表上训练模型,然后让用户创建新的模型。 训练模型只在一个特定的类别列表上进行,然后让用户创建新的 然后让用户在飞行中创建新的类别,而不必重新训练模型。
例如,假设你的零照文本分类模型被训练成只能识别3个 类别:空间、自然和运动。你仍然可以用它来对其他类别的文本进行分类。 例如,商业、食品或科学。
这是一个非常强大的技术,可以有很大的灵活性,同时还能带来很好的效果。
现在有很好的开源自然语言处理模型,基于Hugging Face Transformers,可以很好地用于零照文本分类。 在零照文本分类方面效果非常好。
在NLP Cloud,我们选择了这两个模型,在我们看来,这两个模型是目前最先进的零散文本分类模型。 目前,这两个模型是最先进的零散文本分类模型。
即使它们的准确性令人印象深刻,而且它们的延迟也相当好,但这两个模型仍然是计算密集型模型。 计算密集型模型,如果你想分析的文本太大或者候选类别的数量太多,延迟很容易增加。 如果你想分析的文本太大,或者候选类别的数量太多,延迟就会增加。如果准确性不是你的主要关注点,而你 如果准确率不是你的主要关注点,而你更喜欢一个更快和资源密集度较低的模型,你可以很容易地选择另一个模型。例如 例如,存在Bart的提炼版本,称为 "DistilBart",它们非常适合于此。
零点学习,以及少数点学习。 是现代技术,随着大型自然语言处理模型的建立而出现。 (在这里看到更多关于几张照片的学习). 它们提供了很大的灵活性,并 使得自然语言处理变得越来越令人印象深刻!
欢迎大家试一试零点分类,看看你是否也喜欢它。
Julien Salinas
NLP Cloud的首席技术官