Batch inference is very powerful because it will take almost the same time for your model to address several requests as it takes to address 1 request. Under the hood some operations will be factorized, so that instead of doing everything n times, the model only has to do it once.
Czym jest podobieństwo semantyczne?
Podobieństwo semantyczne polega na wykrywaniu, czy 2 fragmenty tekstu mają to samo znaczenie, czy nie.
Na przykład, możesz chcieć wiedzieć, czy 2 następujące po sobie bloki tekstu mówią o tym samym:
Batch inference is a good way for your model to address more requests faster. Some operations are actually factorized in order to do things only once.
Wyraźnie mówią o tym samym i mają w zasadzie to samo znaczenie.
Wysłanie tych 2 bloków tekstu do modelu podobieństwa semantycznego zwróciłoby wynik 0,90, co oznacza, że zgodnie z modelem 2 dane wejściowe mają to samo znaczenie. Z drugiej strony, niski wynik wskazywałby, że dane wejściowe nie mają tego samego znaczenia.
