Exploiter le matériel brut : écrire des noyaux Triton et CUDA 12 sur mesure sur les architectures Blackwell et Hopper

À mesure que les modèles d'IA grandissent, les bibliothèques standard de multiplication matricielle telles que cuBLAS laissent souvent une part importante de performance inexploitée pour les motifs d'attention creuse spécialisés ou les fonctions d'activation fusionnées sur mesure.

Les ingénieurs de noyaux qui développent en Triton ou en CUDA C++ brut ont besoin d'une visibilité profonde sur les registres matériels, les conflits de banques de mémoire partagée et les pipelines de transfert asynchrone de l'accélérateur de mémoire tensorielle (TMA).

Comme les instances NovaPod s'exécutent avec un passthrough matériel direct sur métal nu, les développeurs disposent d'un accès sans entrave aux outils de profilage NVIDIA Nsight Systems et Nsight Compute, sans interférence d'hyperviseur.

Qu'il s'agisse d'optimiser les instructions de multiplication-accumulation matricielle par groupes de warps (WGMMA) sur Hopper SM90a, ou de préparer des noyaux pour le Transformer Engine de deuxième génération de Blackwell, NovaPod fournit l'environnement de développement bas niveau le plus propre du cloud.

nvcc -O3 -arch=sm_90a custom_attention.cu -o custom_attention
nsys profile --stats=true ./custom_attention