Batch inference is very powerful because it will take almost the same time for your model to address several requests as it takes to address 1 request. Under the hood some operations will be factorized, so that instead of doing everything n times, the model only has to do it once.
Mitä on semanttinen samankaltaisuus?
Semanttisessa samankaltaisuudessa on kyse sen havaitsemisesta, onko kahdella tekstikappaleella sama merkitys vai ei.
Voit esimerkiksi haluta tietää, puhuvatko kaksi seuraavaa tekstikatkelmaa samasta asiasta:
Batch inference is a good way for your model to address more requests faster. Some operations are actually factorized in order to do things only once.
Ne puhuvat selvästi samasta asiasta, ja niillä on melko lailla sama merkitys.
Jos nämä kaksi tekstilohkoa lähetetään semanttisen samankaltaisuuden mallille, se antaa tulokseksi 0,90, mikä tarkoittaa, että mallin mukaan näillä kahdella syötteellä on sama merkitys. Toisaalta matala pistemäärä osoittaisi, että syötteillä ei ole samaa merkitystä.
