Batch inference is very powerful because it will take almost the same time for your model to address several requests as it takes to address 1 request. Under the hood some operations will be factorized, so that instead of doing everything n times, the model only has to do it once.
Wat is semantische gelijkenis?
Semantische gelijkenis gaat over het detecteren of 2 stukken tekst dezelfde betekenis hebben of niet.
Je wilt bijvoorbeeld weten of de 2 volgende tekstblokken over hetzelfde gaan:
Batch inference is a good way for your model to address more requests faster. Some operations are actually factorized in order to do things only once.
Ze gaan duidelijk over hetzelfde en hebben vrijwel dezelfde betekenis.
Deze 2 tekstblokken naar een semantisch similariteitsmodel sturen zou een score als 0,90 opleveren, wat betekent dat, volgens het model, de 2 inputs dezelfde betekenis hebben. Aan de andere kant zou een lage score aangeven dat de inputs niet dezelfde betekenis hebben.
