NovaPod
Cuando NVIDIA presentó la arquitectura Blackwell NVL72, la métrica principal fue una reducción de 4x en el costo de entrenamiento y un salto drástico en el rendimiento de inferencia para modelos fundacionales masivos de mezcla de expertos (MoE).
Nuestro equipo de ingeniería realizó hace poco la primera evaluación comparativa integral de un clúster 8x H100 SXM5 frente a un nodo 8x B200 SXM, que ejecutaba el modelo de 405B parámetros en el entorno de contenedor vLLM ya ajustado de NovaPod.
Al cuantizar las capas de atención a FP4 nativo con factores de escala por tensor, el consumo de memoria bajó de ~810 GB a 425 GB, y permitió que el modelo completo cupiera con holgura en el espacio de memoria unificada de 1.5 TB del nodo, sin penalización de red entre nodos.
El rendimiento de decodificación de tokens pasó de 480 tok/s a más de 1,220 tok/s, y mantuvo la perplejidad dentro del 0.12% de las evaluaciones de referencia en BF16, lo que demuestra la eficiencia sin igual del cómputo Blackwell en NovaPod.