vLLM と SGLang: NVIDIA H200 における PagedAttention の KV キャッシュベンチマーク

この一年で vLLM と SGLang は大規模言語モデルのサービング性能を定義し直し、NovaPod のワンクリックテンプレートライブラリで標準の選択肢になりました。

この技術ベンチマークでは、単一デバイスの NVIDIA H200 SXM5 インスタンス（141GB HBM3e）で両方のエンジンを試します。重いシステムプロンプトの再利用と構造化 JSON 出力を含む、合成マルチターン会話 1,000 件です。

SGLang の RadixAttention アルゴリズムは、繰り返されるエージェントのコンテキストヘッダとツール説明を処理するとき、最初のトークンまでの時間（TTFT）を 34% 下げました。

一方、vLLM のチャンクプリフィルは、128 件を超える突発的な同時ユーザー負荷で、より高いスループット安定性を示しました。両方のスタックは NovaPod マーケットでワンクリックデプロイとして完全にサポートされます。