Batch inference is very powerful because it will take almost the same time for your model to address several requests as it takes to address 1 request. Under the hood some operations will be factorized, so that instead of doing everything n times, the model only has to do it once.
Co je sémantická podobnost?
Sémantická podobnost spočívá ve zjištění, zda 2 části textu mají stejný význam, či nikoli.
Můžete například chtít zjistit, zda následující dva bloky textu hovoří o stejné věci:
Batch inference is a good way for your model to address more requests faster. Some operations are actually factorized in order to do things only once.
Je zřejmé, že mluví o stejné věci a mají v podstatě stejný význam.
Odeslání těchto dvou bloků textu modelu sémantické podobnosti by přineslo skóre 0,90, což znamená, že podle modelu mají tyto dva vstupy stejný význam. Na druhou stranu nízké skóre by znamenalo, že vstupy nemají stejný význam.
