Batch inference is very powerful because it will take almost the same time for your model to address several requests as it takes to address 1 request. Under the hood some operations will be factorized, so that instead of doing everything n times, the model only has to do it once.
Was ist semantische Ähnlichkeit?
Bei der semantischen Ähnlichkeit geht es darum, festzustellen, ob 2 Textstücke die gleiche Bedeutung haben oder nicht.
Sie könnten zum Beispiel wissen wollen, ob die beiden folgenden Textblöcke von derselben Sache handeln:
Batch inference is a good way for your model to address more requests faster. Some operations are actually factorized in order to do things only once.
Sie beziehen sich eindeutig auf dieselbe Sache und haben so ziemlich dieselbe Bedeutung.
Wenn man diese beiden Textblöcke an ein semantisches Ähnlichkeitsmodell sendet, erhält man einen Wert von 0,90, was bedeutet, dass die beiden Eingaben dem Modell zufolge dieselbe Bedeutung haben. Eine niedrige Punktzahl hingegen würde bedeuten, dass die Eingaben nicht dieselbe Bedeutung haben.
