Batch inference is very powerful because it will take almost the same time for your model to address several requests as it takes to address 1 request. Under the hood some operations will be factorized, so that instead of doing everything n times, the model only has to do it once.
O que é a Semantic Similarity?
A semelhança semântica consiste em detetar se duas partes do texto têm o mesmo significado ou não.
Por exemplo, pode querer saber se os dois blocos de texto seguintes estão a falar da mesma coisa:
Batch inference is a good way for your model to address more requests faster. Some operations are actually factorized in order to do things only once.
Falam claramente da mesma coisa e têm praticamente o mesmo significado.
O envio destes dois blocos de texto para um modelo de semelhança semântica daria uma pontuação de 0,90, o que significa que, de acordo com o modelo, as duas entradas têm o mesmo significado. Por outro lado, uma pontuação baixa indicaria que as entradas não têm o mesmo significado.
