Batch inference is very powerful because it will take almost the same time for your model to address several requests as it takes to address 1 request. Under the hood some operations will be factorized, so that instead of doing everything n times, the model only has to do it once.
Che cos'è la somiglianza semantica?
La somiglianza semantica consiste nel rilevare se due testi hanno lo stesso significato o meno.
Ad esempio, si potrebbe voler sapere se i due blocchi di testo seguenti parlano della stessa cosa:
Batch inference is a good way for your model to address more requests faster. Some operations are actually factorized in order to do things only once.
È chiaro che parlano della stessa cosa e hanno più o meno lo stesso significato.
Inviando questi due blocchi di testo a un modello di somiglianza semantica si otterrebbe un punteggio di 0,90, il che significa che, secondo il modello, i due input hanno lo stesso significato. D'altra parte, un punteggio basso indicherebbe che gli input non hanno lo stesso significato.
