Batch inference is very powerful because it will take almost the same time for your model to address several requests as it takes to address 1 request. Under the hood some operations will be factorized, so that instead of doing everything n times, the model only has to do it once.
Mi az a szemantikai hasonlóság?
A szemantikai hasonlóság annak megállapítására szolgál, hogy 2 szövegrész azonos jelentéssel bír-e vagy sem.
Például tudni szeretné, hogy a következő 2 szövegrészlet ugyanarról a dologról szól-e:
Batch inference is a good way for your model to address more requests faster. Some operations are actually factorized in order to do things only once.
Egyértelműen ugyanarról a dologról beszélnek, és nagyjából ugyanazt jelentik.
Ha ezt a két szövegrészletet elküldenénk egy szemantikai hasonlósági modellnek, az 0,90-es pontszámot kapnánk, ami azt jelenti, hogy a modell szerint a két bemeneti szövegnek ugyanaz a jelentése. Másrészt egy alacsony pontszám azt jelezné, hogy a bemenetek nem azonos jelentésűek.
