NovaPod
Tanto vLLM como SGLang han redefinido el rendimiento del servicio de modelos de lenguaje de gran tamaño durante el último año, y se han convertido en opciones habituales de la biblioteca de plantillas de un clic de NovaPod.
En esta evaluación técnica probamos ambos motores en instancias de un solo dispositivo NVIDIA H200 SXM5 (141 GB de HBM3e), a lo largo de 1,000 conversaciones sintéticas de varios turnos, con una reutilización intensa de la instrucción de sistema y salidas JSON estructuradas.
El algoritmo RadixAttention de SGLang mostró un tiempo hasta el primer token (TTFT) un 34% menor al procesar cabeceras de contexto de agente y descripciones de herramientas que se repiten.
Mientras tanto, el prellenado por fragmentos de vLLM entregó una estabilidad de rendimiento mayor bajo cargas concurrentes en ráfaga que superaban las 128 solicitudes. Ambas pilas están plenamente admitidas, con despliegue de un clic, en el mercado de NovaPod.