Batch inference is very powerful because it will take almost the same time for your model to address several requests as it takes to address 1 request. Under the hood some operations will be factorized, so that instead of doing everything n times, the model only has to do it once.
Čo je sémantická podobnosť?
Sémantická podobnosť spočíva v zisťovaní, či 2 časti textu majú rovnaký význam alebo nie.
Môžete napríklad chcieť vedieť, či nasledujúce 2 bloky textu hovoria o tom istom:
Batch inference is a good way for your model to address more requests faster. Some operations are actually factorized in order to do things only once.
Jednoznačne hovoria o tom istom a majú takmer rovnaký význam.
Odoslanie týchto dvoch blokov textu modelu sémantickej podobnosti by prinieslo skóre 0,90, čo znamená, že podľa modelu majú tieto dva vstupy rovnaký význam. Na druhej strane, nízke skóre by znamenalo, že vstupy nemajú rovnaký význam.
