고동시성 LLM 서빙 아키텍처: vLLM 청크 프리필과 FP4 텐서 엔진으로 초당 토큰을 최대화하기

프로덕션 LLM API를 개념 증명에서 수천 건의 동시 요청 서빙으로 확장하면 처리량 천장이 바로 드러납니다. 정적 배칭은 GPU 연산 코어를 굶기고, 관리되지 않는 KV 캐시는 메모리 부족 충돌을 일으킵니다.

NovaPod의 프로덕션 추론 템플릿은 연속 배칭, 청크 프리필, PagedAttention을 결합해 메모리 단편화를 없애고, 단순한 모델 서버 대비 최대 4배의 토큰 처리량을 제공합니다.

NVIDIA H200 SXM5 인스턴스(141GB HBM3e, 대역폭 4.8 TB/s)에서는 GPU 한 장이 FP8 정밀도의 Llama 3 70B를 여유 있게 서빙하면서, 128k 활성 컨텍스트 토큰을 위한 메모리 여유를 남깁니다.

또한 모든 NovaPod 서빙 노드는 Server-Sent Events(SSE) 스트리밍이 있는 표준 OpenAI 호환 엔드포인트를 열어, 하위 애플리케이션의 즉시 교체 수단이 됩니다.

python3 -m vllm.entrypoints.openai.api_server \
  --model meta-llama/Meta-Llama-3-70B-Instruct \
  --tensor-parallel-size 4 \
  --gpu-memory-utilization 0.95 \
  --enable-chunked-prefill \
  --port 8000