B200 NVL72와 H100: 405B 모델을 위한 FP4 Tensor Core 처리량 벤치마크

NovaPod 베어메탈 클러스터에서 Llama 3.1 405B를 대상으로 Hopper FP8 실행과 Blackwell NVLink 5 FP4를 비교한 실증 결과입니다.

NVIDIA가 Blackwell NVL72 아키텍처를 공개했을 때 헤드라인 지표는 학습 비용 4배 감소와, 거대한 Mixture-of-Experts(MoE) 파운데이션 모델의 추론 처리량 도약이었습니다.

엔지니어링 팀은 최근 NovaPod의 사전 조정 vLLM 컨테이너 환경에서 405B 파라미터 모델을 실행하는 8x H100 SXM5 클러스터와 8x B200 SXM 노드를 비교하는 첫 종합 벤치마크를 수행했습니다.

어텐션 계층을 텐서별 스케일링 계수가 있는 네이티브 FP4로 양자화하자 메모리 소비가 약 810GB에서 425GB로 줄어, 노드 간 네트워크 패널티 없이 모델 전체가 노드의 통합 1.5TB 메모리 공간에 여유 있게 들어갔습니다.

토큰 디코드 처리량은 480 tok/s에서 1,220 tok/s 이상으로 늘었고, 퍼플렉시티는 기준 BF16 평가의 0.12% 안에 머물렀습니다. NovaPod에서 Blackwell 컴퓨팅의 효율을 보여 줍니다.

핵심 정리NVIDIA Blackwell NVLink 5와 2세대 Transformer Engine FP4는 조 단위 파라미터 모델 서빙의 경제를 근본적으로 바꿉니다. 8웨이 노드의 메모리 소비를 절반으로 줄이면서 토큰 처리량을 두 배로 만듭니다.