¿Qué es el aprendizaje de tiro cero, y cómo puede aplicarse eficazmente, en NLP, a la clasificación de textos, gracias a los transformadores de rostros abrazados?
Gracias a los recientes modelos de NLP basados en transformadores, el aprendizaje de tiro cero ha ganado mucha popularidad en el mundo del NLP. La idea es que un modelo puede ahora reconocer algunas clases, aunque no haya haya sido entrenado para ello.
Esto es lo que el ser humano hace de forma natural. Por ejemplo, si tu hijo sabe lo que es un camello, sólo tienes que que hay otro animal llamado dromedario, muy parecido al camello, pero con una joroba en la espalda en lugar de dos. en su espalda en lugar de dos. La próxima vez que tu hijo vea una foto de un dromedario, sabrá lo que es mientras es la primera vez que ve uno.
Las técnicas de disparo cero asocian las clases observadas y no observadas mediante alguna forma de la llamada información "auxiliar", que codifica propiedades distintivas de los objetos. Esta ha sido una técnica muy popular técnica de visión por ordenador desde hace mucho tiempo, que ahora se utiliza cada vez más en NLP.
El aprendizaje cero funciona muy bien para la clasificación de textos. La clasificación de textos consiste en aplicar una o varias categorías a un texto (espacio, negocio, deporte, etc.).
Hasta hace poco, los modelos de clasificación de textos sólo podían categorizar piezas de texto con un número predefinido de categorías candidatas. Estas categorías debían establecerse de antemano durante el entrenamiento. Esto era doloroso porque significaba que, cada vez que se quería añadir una categoría, había que volver a entrenar el modelo con más ejemplos.
Desde la creación de modelos de NLP mucho más grandes (la mayoría de las veces basados en Transformers), ha sido entrenar los modelos sólo en una lista específica de categorías, y luego dejar que los usuarios creen nuevas categorías sobre la marcha sin tener que volver a entrenar el modelo.
Por ejemplo, digamos que su modelo de clasificación de texto sin disparos fue entrenado para reconocer sólo 3 categorías: espacio, naturaleza y deporte. Todavía puede utilizarlo para clasificar textos de otras categorías, como, por ejemplo, negocios, comida o ciencia.
Se trata de una técnica muy potente que permite mucha flexibilidad sin dejar de ofrecer grandes resultados.
Existen excelentes modelos de NLP de código abierto, basados en Hugging Face Transformers, que funcionan muy bien para la clasificación de textos sin disparos.
En NLP Cloud hemos seleccionado estos 2 modelos que son, en nuestra opinión, los mejores modelos del estado del arte para la clasificación de textos de disparo cero por el momento:
Aunque su precisión es impresionante y su latencia es bastante buena, estos 2 modelos siguen siendo de computación, y la latencia puede aumentar fácilmente si el texto que se quiere analizar es demasiado o el número de categorías candidatas es demasiado elevado. Si la precisión no es su principal preocupación y prefiere prefiere un modelo más rápido y que consuma menos recursos, puede seleccionar fácilmente otro modelo. En ejemplo, existen versiones destiladas de Bart, llamadas "DistilBart", y son perfectas para esto.
El aprendizaje de cero disparos, junto con el aprendizaje de pocos disparos son técnicas modernas que aparecieron con la creación de grandes modelos de NLP (ver más sobre el aprendizaje de los pocos disparos aquí). Dan mucha flexibilidad y hacen que el Procesamiento del Lenguaje Natural sea cada vez más impresionante.
No dudes en probar la clasificación de tiro cero y ver si también te gusta.
Julien Salinas
CTO en NLP Cloud