Architecture de service LLM à haute concurrence : maximiser les jetons par seconde avec le Chunked Prefill de vLLM et le moteur tensoriel FP4

Servir des modèles de fondation de 70B à 405B avec la mise en lots continue, le cache de préfixes RadixAttention et la quantification native FP8/FP4 sur NVIDIA Hopper et Blackwell.

Faire passer des API LLM de production d'une preuve de concept au service de milliers de requêtes simultanées révèle aussitôt des plafonds de débit : la mise en lots statique affame les cœurs de calcul du GPU, tandis que des caches KV non gérés provoquent des plantages par manque de mémoire.

Sur NovaPod, nos gabarits d'inférence de production combinent la mise en lots continue, le préremplissage par blocs et PagedAttention afin d'éliminer entièrement la fragmentation de la mémoire, et ils délivrent jusqu'à 4 fois plus de débit de jetons que des serveurs de modèles naïfs.

Sur les instances NVIDIA H200 SXM5 (141 GB de HBM3e à 4.8 TB/s de bande passante), un seul GPU peut servir confortablement Llama 3 70B en précision FP8, tout en conservant une marge de mémoire suffisante pour 128k jetons de contexte actifs.

En outre, tous les nœuds de service NovaPod exposent des points de terminaison compatibles OpenAI standard, avec une diffusion en continu par événements envoyés par le serveur (SSE), ce qui en fait des remplacements immédiats pour les applications en aval.

Lancement rapide de NovaPod CLI

python3 -m vllm.entrypoints.openai.api_server \
  --model meta-llama/Meta-Llama-3-70B-Instruct \
  --tensor-parallel-size 4 \
  --gpu-memory-utilization 0.95 \
  --enable-chunked-prefill \
  --port 8000

Point clé de l'architectureL'économie de l'inférence est dictée par la bande passante mémoire (HBM3e) et par l'efficacité de la mise en lots continue. Sur NovaPod, les gabarits vLLM et SGLang préajustés fournissent immédiatement des points de terminaison de diffusion en continu compatibles OpenAI, avec une accélération matérielle complète.

Architecture de service LLM à haute concurrence : maximiser les jetons par seconde avec le Chunked Prefill de vLLM et le moteur tensoriel FP4

Découvrez le calcul IA haute densité

Articles connexes

Protocole de liquidité NovaPod : couvrir le calcul IA de long terme sans engagement pluriannuel

Coût de location de GPU : lisez d'abord le prix demandé en direct

Comment louer un GPU