Batch inference is very powerful because it will take almost the same time for your model to address several requests as it takes to address 1 request. Under the hood some operations will be factorized, so that instead of doing everything n times, the model only has to do it once.
Kas ir semantiskā līdzība?
Semantiskā līdzība ir saistīta ar to, lai noteiktu, vai 2 teksta daļām ir vai nav vienāda nozīme.
Piemēram, jūs varētu vēlēties noskaidrot, vai divi nākamie teksta bloki runā par vienu un to pašu:
Batch inference is a good way for your model to address more requests faster. Some operations are actually factorized in order to do things only once.
Skaidrs, ka tās runā par to pašu un tām ir diezgan līdzīga nozīme.
Nosūtot šos divus teksta blokus semantiskās līdzības modelim, tiktu iegūts rezultāts 0,90, kas nozīmē, ka saskaņā ar modeli šiem diviem ievadītajiem datiem ir vienāda nozīme. No otras puses, zems rezultāts liecinātu, ka ievadītajiem datiem nav vienādas nozīmes.
