NovaPod
Als NVIDIA die Architektur Blackwell NVL72 vorstellte, war die Kennzahl der Schlagzeile eine 4-fache Senkung der Trainingskosten und ein deutlicher Sprung im Durchsatz der Inferenz für massive Foundation-Modelle vom Typ Mixture-of-Experts (MoE).
Unser Ingenieurteam hat kürzlich den ersten umfassenden Benchmark durchgeführt, der einen Cluster mit 8x H100 SXM5 mit einem Knoten mit 8x B200 SXM vergleicht, auf dem das Modell mit 405B Parametern in der voreingestellten vLLM-Containerumgebung von NovaPod läuft.
Durch die Quantisierung der Attention-Schichten auf natives FP4 mit Skalierungsfaktoren pro Tensor sank der Speicherverbrauch von etwa 810 GB auf 425 GB, sodass das gesamte Modell komfortabel in den vereinheitlichten Speicherraum von 1.5 TB des Knotens passte, ohne Netzwerknachteil zwischen Knoten.
Der Durchsatz beim Decodieren von Token stieg von 480 tok/s auf über 1,220 tok/s, während die Perplexität innerhalb von 0.12% der Basisbewertungen in BF16 blieb, und belegte damit die unerreichte Effizienz der Rechenleistung von Blackwell auf NovaPod.