Batch inference is very powerful because it will take almost the same time for your model to address several requests as it takes to address 1 request. Under the hood some operations will be factorized, so that instead of doing everything n times, the model only has to do it once.
Anlamsal Benzerlik Nedir?
Anlamsal benzerlik, 2 metin parçasının aynı anlama sahip olup olmadığını tespit etmekle ilgilidir.
Örneğin, aşağıdaki 2 metin bloğunun aynı şeyden bahsedip bahsetmediğini bilmek isteyebilirsiniz:
Batch inference is a good way for your model to address more requests faster. Some operations are actually factorized in order to do things only once.
Açıkça aynı şeyden bahsediyorlar ve hemen hemen aynı anlama geliyorlar.
Bu 2 metin bloğunu bir anlamsal benzerlik modeline göndermek 0,90 gibi bir puan getirecektir, yani modele göre 2 girdi aynı anlama sahiptir. Öte yandan, düşük bir skor girdilerin aynı anlama sahip olmadığını gösterir.
