NovaPod
Au cours de l'année écoulée, vLLM et SGLang ont redéfini la performance de service des grands modèles de langage, et ils sont devenus des choix standard dans la bibliothèque de gabarits en un clic de NovaPod.
Dans ce benchmark technique, nous testons les deux moteurs sur des instances NVIDIA H200 SXM5 à un seul appareil (141 GB de HBM3e), sur 1,000 conversations synthétiques à plusieurs tours, caractérisées par une forte réutilisation des invites système et par des sorties JSON structurées.
L'algorithme RadixAttention de SGLang a montré un temps jusqu'au premier jeton (TTFT) inférieur de 34 % lors du traitement d'en-têtes de contexte d'agent répétés et de descriptions d'outils.
De son côté, le Chunked Prefill de vLLM a offert une stabilité de débit plus élevée sous des charges d'utilisateurs simultanés en rafale dépassant 128 requêtes. Les deux piles sont entièrement prises en charge, avec un déploiement en un clic sur la place de marché NovaPod.