Rohe Hardware nutzen: benutzerdefinierte Kernel in Triton und CUDA 12 auf den Architekturen Blackwell und Hopper schreiben

Wenn KI-Modelle skalieren, lassen Standardbibliotheken für Matrixmultiplikation wie cuBLAS bei spezialisierten Mustern dünn besetzter Attention oder bei benutzerdefinierten fusionierten Aktivierungsfunktionen oft erhebliche Leistung ungenutzt.

Kernel-Ingenieure, die in Triton oder in rohem CUDA C++ entwickeln, brauchen tiefe Sicht auf Hardware-Register, auf Bankkonflikte im gemeinsam genutzten Speicher und auf asynchrone Transferpipelines des Tensor Memory Accelerator (TMA).

Weil Instanzen von NovaPod mit direktem Hardware-Passthrough auf Bare Metal laufen, haben Entwickler ungehinderten Zugang zu den Profiling-Werkzeugen NVIDIA Nsight Systems und Nsight Compute, ohne Störung durch einen Hypervisor.

Ob Sie Befehle zur Warp-Gruppen-Matrixmultiplikation mit Akkumulation (WGMMA) auf Hopper SM90a optimieren oder Kernel für die Transformer Engine der zweiten Generation von Blackwell vorbereiten: NovaPod bietet die sauberste Entwicklungsumgebung auf niedriger Ebene in der Cloud.

nvcc -O3 -arch=sm_90a custom_attention.cu -o custom_attention
nsys profile --stats=true ./custom_attention