B200 NVL72 と H100: 405B モデルのための FP4 Tensor Core スループットのベンチマーク

NVIDIA が Blackwell NVL72 アーキテクチャを公開したとき、見出しの指標は学習費用の 4 倍削減と、巨大な Mixture-of-Experts（MoE）基盤モデルの推論スループットの飛躍でした。

エンジニアリングチームは最近、NovaPod の事前調整 vLLM コンテナ環境で 405B パラメータモデルを動かす 8x H100 SXM5 クラスタと 8x B200 SXM ノードを比べる、最初の包括的ベンチマークを実施しました。

アテンション層をテンソルごとのスケーリング係数付きネイティブ FP4 へ量子化すると、メモリ消費は約 810GB から 425GB へ下がり、ノード間ネットワークのペナルティなしにモデル全体がノードの統合 1.5TB メモリ空間へ余裕をもって収まりました。

トークンのデコードスループットは 480 tok/s から 1,220 tok/s 超へ増え、パープレキシティは基準 BF16 評価の 0.12% 以内に留まりました。NovaPod における Blackwell コンピュートの効率を示しています。