Batch inference is very powerful because it will take almost the same time for your model to address several requests as it takes to address 1 request. Under the hood some operations will be factorized, so that instead of doing everything n times, the model only has to do it once.
Ce este similaritatea semantică?
Similitudinea semantică constă în a detecta dacă două bucăți de text au sau nu același înțeles.
De exemplu, ați putea dori să știți dacă cele 2 blocuri de text următoare se referă la același lucru:
Batch inference is a good way for your model to address more requests faster. Some operations are actually factorized in order to do things only once.
În mod clar, ele vorbesc despre același lucru și au cam același înțeles.
Trimiterea acestor 2 blocuri de text unui model de similaritate semantică ar returna un scor de 0,90, ceea ce înseamnă că, potrivit modelului, cele 2 intrări au același înțeles. Pe de altă parte, un scor scăzut ar indica faptul că intrările nu au același înțeles.
