Batch inference is very powerful because it will take almost the same time for your model to address several requests as it takes to address 1 request. Under the hood some operations will be factorized, so that instead of doing everything n times, the model only has to do it once.
Kas yra semantinis panašumas?
Semantinis panašumas - tai nustatymas, ar 2 teksto dalys turi tą pačią reikšmę, ar ne.
Pavyzdžiui, galite norėti sužinoti, ar 2 tolesniuose teksto blokuose kalbama apie tą patį dalyką:
Batch inference is a good way for your model to address more requests faster. Some operations are actually factorized in order to do things only once.
Akivaizdu, kad jie kalba apie tą patį dalyką ir turi beveik tą pačią reikšmę.
Nusiuntus šiuos du teksto blokus semantinio panašumo modeliui, būtų gautas 0,90 balas, t. y. pagal modelį šie du įvesties duomenys turi tą pačią reikšmę. Kita vertus, žemas balas reikštų, kad įvestys neturi tos pačios reikšmės.
