Našumo palyginimas: Uždelsimas, pralaidumas ir mastelio keitimas
Panagrinėkime, kaip šie varikliai veikia vėlavimo (kaip greitai baigiama viena užklausa), pralaidumo (kiek užklausų jie gali priimti) ir mastelio keitimo (kaip gerai jie susidoroja su didesnėmis apkrovomis arba didesne aparatine įranga) atžvilgiu.
Jei turite NVIDIA GPU, "TensorRT-LLM" pasižymi geriausiu vėlavimu. Jis labai optimizuotas NVIDIA įrangai, todėl pavienės užklausos baigiamos greitai: daugumoje A100 modelių - greičiau nei per 50 ms. Našumas taip pat puikus, ypač naudojant dinaminį paketavimą. BentoML atliktos lyginamosios analizės rodo, kad šis variklis pasiekia 700 žetonų per sekundę, esant 100 vienu metu veikiančių naudotojų, Llama 3 70B Q4 su A100 80 GB GPU. TensorRT-LLM puikiai veikia scenarijuose su ilgais įvesties duomenimis ir dideliu užklausų dažniu, užtikrindamas gerą pralaidumą. Kelių GPU masteliavimas palaikomas iškart ir pasižymi puikiu našumu.
"vLLM" taip pat pasižymi geru pralaidumu, ypač dekodavimo apkrovoms, o po naujausių atnaujinimų - dideliu pralaidumu ir mažu vėlavimu. BentoML atliktos lyginamosios analizės rodo, kad šis variklis pasiekia 600-650 žetonų per sekundę, esant 100 vienu metu veikiančių naudotojų, kai naudojamas "Llama 3 70B Q4", naudojant A100 80 GB GPU. Uždelsimas yra geras, bet ne toks geras kaip TensorRT-LLM: apie 60-80 ms, kai vykdomos pavienės užduotys. Ji gerai keičia mastelius tarp GPU, net maišant prekės ženklus, tačiau ji mažiau nušlifuota didžiulėms konfigūracijoms.
"Hugging Face TGI" veikia panašiai kaip ir vLLM, užtikrinant našumo ir patogumo naudoti pusiausvyrą. Vėlavimas yra padorus: 50-70 ms naudojant gerą GPU. BentoML atliktos lyginamosios analizės rodo, kad šis variklis pasiekia 600-650 žetonų per sekundę, kai vienu metu naudojasi 100 naudotojų, Llama 3 70B Q4 su A100 80GB GPU. Jis sukurtas taip, kad būtų pritaikytas gamybai, todėl sklandžiai susitvarko su didesniu naudotojų ar mašinų skaičiumi, ypač naudojant "Docker".
LMDeploy laimi dėl dekodavimo greičio. Ji pasižymi geresniu žetonų generavimo greičiu, ypač mažesniems modeliams, ir mažesniu laiku iki pirmojo žetono (TTFT) kvantuotiems dideliems modeliams. Vėlavimas yra nedidelis: 40-60 ms. O pralaidumas yra puikus. BentoML atliktos lyginamosios analizės rodo, kad šis variklis pasiekia 700 žetonų per sekundę, kai vienu metu veikia 100 naudotojų, naudojant Llama 3 70B Q4 su A100 80 GB GPU. Naudojant serverio sąranką, mastelio keitimas yra paprastas, tačiau norint pasiekti geriausių rezultatų, reikia naudoti NVIDIA GPU; "PyTorch" režimas atsilieka.
Svarbiausia: TensorRT-LLM ir LMDeploy pirmauja pagal greitį. Jūsų pasirinkimas priklauso nuo jūsų aparatinės įrangos ir nuo to, kiek užklausų apdorojate.
