Batch inference is very powerful because it will take almost the same time for your model to address several requests as it takes to address 1 request. Under the hood some operations will be factorized, so that instead of doing everything n times, the model only has to do it once.
¿Qué es la similitud semántica?
La similitud semántica consiste en detectar si dos fragmentos de texto tienen el mismo significado o no.
Por ejemplo, puede que quiera saber si los 2 bloques de texto siguientes hablan de lo mismo:
Batch inference is a good way for your model to address more requests faster. Some operations are actually factorized in order to do things only once.
Está claro que HABLAN de lo mismo y tienen más o menos el mismo significado.
Enviar estos dos bloques de texto a un modelo de similitud semántica devolvería una puntuación de 0,90, lo que significa que, según el modelo, las dos entradas tienen el mismo significado. Por otro lado, una puntuación baja indicaría que las entradas no tienen el mismo significado.
