Batch inference is very powerful because it will take almost the same time for your model to address several requests as it takes to address 1 request. Under the hood some operations will be factorized, so that instead of doing everything n times, the model only has to do it once.
의미적 유사성이란 무엇인가요?
의미적 유사성은 두 텍스트의 의미가 같은지 아닌지를 감지하는 것입니다.
예를 들어, 다음 두 텍스트 블록이 같은 내용을 이야기하고 있는지 알고 싶을 수 있습니다:
Batch inference is a good way for your model to address more requests faster. Some operations are actually factorized in order to do things only once.
그들은 분명히 같은 것에 대해 이야기하고 거의 같은 의미를 가지고 있습니다.
이 두 텍스트 블록을 의미 유사성 모델에 보내면 0.90과 같은 점수가 반환되며, 이는 모델에 따르면 두 입력이 동일한 의미를 갖는다는 것을 의미합니다. 반면에 점수가 낮으면 입력의 의미가 같지 않음을 나타냅니다.
