KI-Beschleuniger für Workstations: die Architektur Blackwell mit ECC und GDDR7 für dediziertes Modell-Serving bewerten

Entwickler von KI suchen seit Langem einen erschwinglichen Mittelweg zwischen High-End-Flaggschiffen für Verbraucher ohne ECC-Speicher und SXM-Beschleunigern für Enterprise-Rechenzentren im sechsstelligen Preisbereich.

Workstation-Bauteile der nächsten Generation Blackwell scheinen gezielt für diese Kluft entwickelt zu sein und enthalten 32 GB bis 48 GB ECC-Speicher in GDDR7 auf breiten Bussen mit nativen FP4-Tensor-Cores der Transformer Engine der zweiten Generation.

Für die Feinabstimmung von Modellen mit 70B über QLoRA oder für das Bereitstellen von Inferenzendpunkten mit hoher Parallelität über die Vorlagen von NovaPod mit Start in einem Klick bieten moderne Workstation-Beschleuniger eine außergewöhnliche Balance aus Leistungsaufnahme unter 350W und Kompatibilität mit Standard-Servergehäusen.

So stellen sich ihre geschätzten TFLOPS und ihre Speicherbandbreite gegenüber aktuellen Benchmarks der Generationen Hopper und Ada dar, und so unterstützt die Orchestrierungsschicht von NovaPod auf Bare Metal die sofortige Bereitstellung ab dem ersten Tag.