高同時実行の LLM サービングアーキテクチャ: vLLM のチャンクプリフィルと FP4 テンソルエンジンで秒あたりトークンを最大化する

本番の LLM API を概念実証から数千件の同時リクエストへ広げるとき、スループットの天井はすぐに現れます。静的バッチは GPU の演算コアを飢えさせ、管理されない KV キャッシュはメモリ不足のクラッシュを起こします。

NovaPod の本番推論テンプレートは、連続バッチ、チャンクプリフィル、PagedAttention を組み合わせてメモリの断片化をなくし、素朴なモデルサーバーと比べて最大 4 倍のトークンスループットを届けます。

NVIDIA H200 SXM5 インスタンス（141GB HBM3e、帯域 4.8 TB/s）では、GPU 1 枚が FP8 精度の Llama 3 70B を余裕をもってサーブしながら、128k のアクティブコンテキストトークンのためのメモリ余力を残します。

さらに、すべての NovaPod サービングノードは Server-Sent Events（SSE）ストリーミング付きの標準 OpenAI 互換エンドポイントを公開し、下流アプリケーションの即座の置き換えになります。

python3 -m vllm.entrypoints.openai.api_server \
  --model meta-llama/Meta-Llama-3-70B-Instruct \
  --tensor-parallel-size 4 \
  --gpu-memory-utilization 0.95 \
  --enable-chunked-prefill \
  --port 8000