Porównanie wydajności: Opóźnienie, przepustowość i skalowalność
Przeanalizujmy, jak te silniki radzą sobie z opóźnieniami (jak szybko kończy się jedno żądanie), przepustowością (ile żądań mogą pozyskać) i skalowalnością (jak dobrze radzą sobie z większymi obciążeniami lub większą ilością sprzętu).
TensorRT-LLM wyróżnia się pod względem opóźnień, jeśli posiadasz procesory graficzne NVIDIA. Jest on wysoce zoptymalizowany pod kątem sprzętu NVIDIA, więc pojedyncze żądania kończą się szybko: poniżej 50 ms dla większości modeli na A100. Przepustowość jest również doskonała, zwłaszcza w przypadku dynamicznego wsadowania. Benchmarki przeprowadzone przez BentoML pokazują, że silnik ten osiąga 700 tokenów na sekundę przy 100 jednoczesnych użytkownikach dla Llama 3 70B Q4 na A100 80GB GPU. TensorRT-LLM osiąga dobre wyniki w scenariuszach z długimi danymi wejściowymi i dużą liczbą żądań, oferując dobrą przepustowość. Skalowalność na wielu GPU jest obsługiwana od razu po wyjęciu z pudełka z doskonałą wydajnością.
vLLM ma również dobrą przepustowość, szczególnie w obciążeniach wymagających dekodowania, z wysoką przepustowością i niskimi opóźnieniami po ostatnich aktualizacjach. Benchmarki przeprowadzone przez BentoML pokazują, że silnik ten osiąga 600-650 tokenów na sekundę przy 100 jednoczesnych użytkownikach dla Llama 3 70B Q4 na GPU A100 80GB. Opóźnienia są dobre, ale nie tak dobre jak w przypadku TensorRT-LLM: około 60-80 ms dla pojedynczych przebiegów. Dobrze skaluje się na różnych GPU, nawet mieszając marki, ale jest mniej dopracowany w przypadku dużych konfiguracji.
Hugging Face TGI działa podobnie do vLLM, zapewniając równowagę między wydajnością a łatwością użytkowania. Opóźnienia są przyzwoite: 50-70 ms na dobrym GPU. Benchmarki przeprowadzone przez BentoML pokazują, że silnik ten osiąga 600-650 tokenów na sekundę przy 100 jednoczesnych użytkownikach dla Llama 3 70B Q4 na GPU A100 80GB. Został on zbudowany z myślą o skalowaniu do produkcji, więc płynnie obsługuje większą liczbę użytkowników lub maszyn, zwłaszcza z Dockerem.
LMDeploy wygrywa pod względem szybkości dekodowania. Wyróżnia się szybkością generowania tokenów, zwłaszcza w przypadku mniejszych modeli, i ma niski czas do pierwszego tokena (TTFT) w przypadku skwantyfikowanych dużych modeli. Opóźnienie jest niskie: 40-60 ms. Przepustowość jest doskonała. Benchmarki przeprowadzone przez BentoML pokazują, że silnik ten osiąga 700 tokenów na sekundę przy 100 jednoczesnych użytkownikach dla Llama 3 70B Q4 na GPU A100 80GB. Skalowanie jest łatwe dzięki konfiguracji serwerowej, ale w celu uzyskania najlepszych wyników mocno opiera się na procesorach graficznych NVIDIA; tryb PyTorch pozostaje w tyle.
Konkluzja: TensorRT-LLM i LMDeploy przodują pod względem szybkości. Wybór zależy od posiadanego sprzętu i liczby obsługiwanych żądań.
