NovaPod
Lorsque NVIDIA a dévoilé l'architecture Blackwell NVL72, l'indicateur mis en avant était une réduction de 4x du coût d'entraînement et un bond spectaculaire du débit d'inférence pour les modèles de fondation Mixture-of-Experts (MoE) massifs.
Notre équipe d'ingénierie a récemment mené le premier benchmark complet comparant un cluster 8x H100 SXM5 à un nœud 8x B200 SXM exécutant le modèle à 405B paramètres, dans l'environnement de conteneur vLLM préajusté de NovaPod.
En quantifiant les couches d'attention en FP4 natif, avec des facteurs d'échelle par tenseur, la consommation mémoire est passée d'environ 810 GB à 425 GB, ce qui a permis au modèle entier de tenir confortablement dans l'espace mémoire unifié de 1.5 TB du nœud, sans pénalité réseau entre les nœuds.
Le débit de décodage des jetons est passé de 480 tok/s à plus de 1,220 tok/s, tout en maintenant la perplexité à 0.12 % près des évaluations BF16 de référence, ce qui démontre l'efficacité inégalée du calcul Blackwell sur NovaPod.