vLLM gegenüber SGLang: Benchmarks des KV-Caches mit PagedAttention auf der NVIDIA H200

vLLM und SGLang haben im vergangenen Jahr die Leistung beim Bereitstellen großer Sprachmodelle neu definiert und sind zur Standardauswahl in der Vorlagenbibliothek von NovaPod mit Bereitstellung in einem Klick geworden.

In diesem technischen Benchmark testen wir beide Engines auf Instanzen mit einem einzelnen Gerät der NVIDIA H200 SXM5 (141 GB HBM3e) über 1,000 synthetische mehrstufige Gespräche mit starker Wiederverwendung von System-Prompts und mit strukturierten Ausgaben in JSON.

Der Algorithmus RadixAttention von SGLang zeigte eine um 34% niedrigere Zeit bis zum ersten Token (TTFT), wenn wiederholte Kontextköpfe von Agenten und Beschreibungen von Werkzeugen verarbeitet wurden.

Chunked Prefill von vLLM lieferte unter stoßweisen gleichzeitigen Lasten von mehr als 128 Anfragen eine höhere Stabilität des Durchsatzes. Beide Stacks werden im Marktplatz von NovaPod mit Bereitstellung in einem Klick vollständig unterstützt.