Architektur für LLM-Serving mit hoher Parallelität: Tokens pro Sekunde mit vLLM Chunked Prefill und der FP4-Tensor-Engine maximieren

Die Skalierung von LLM-APIs in der Produktion vom Machbarkeitsnachweis bis zur Bedienung Tausender gleichzeitiger Anfragen zeigt sofort Grenzen des Durchsatzes: Statisches Batching lässt die Rechenkerne der GPU hungern, während nicht verwaltete KV-Caches Abstürze durch Speicherüberlauf verursachen.

Auf NovaPod verbinden unsere Inferenzvorlagen für die Produktion kontinuierliches Batching, Chunked Prefill und PagedAttention, um Speicherfragmentierung vollständig zu beseitigen, und liefern bis zu 4-fach höheren Token-Durchsatz im Vergleich zu naiven Modellservern.

Auf Instanzen der NVIDIA H200 SXM5 (141 GB HBM3e bei einer Bandbreite von 4.8 TB/s) kann eine einzelne GPU Llama 3 70B in FP8-Präzision komfortabel bereitstellen und dabei genügend Speicherreserve für 128k aktive Kontext-Token behalten.

Darüber hinaus öffnen alle Serving-Knoten von NovaPod Standardendpunkte, die mit OpenAI kompatibel sind und über Server-Sent Events (SSE) streamen, sodass sie für nachgelagerte Anwendungen sofort einsetzbare Ersatzlösungen sind.

python3 -m vllm.entrypoints.openai.api_server \
  --model meta-llama/Meta-Llama-3-70B-Instruct \
  --tensor-parallel-size 4 \
  --gpu-memory-utilization 0.95 \
  --enable-chunked-prefill \
  --port 8000