生のハードウェアを使う: Blackwell と Hopper アーキテクチャでカスタム Triton と CUDA 12 カーネルを書く

AI モデルが拡大するにつれ、cuBLAS のような標準の行列積ライブラリは、特殊な疎アテンションパターンやカスタム融合活性化関数で、かなりの性能をテーブルの上に残します。

Triton または生の CUDA C++ で開発するカーネルエンジニアは、ハードウェアレジスタ、共有メモリのバンク競合、テンソルメモリアクセラレータ（TMA）の非同期転送パイプラインを深く見る必要があります。

NovaPod のインスタンスは直接のベアメタルハードウェアパススルーで動くため、開発者はハイパーバイザの干渉なしに NVIDIA Nsight Systems と Nsight Compute のプロファイリングツールへ制約なくアクセスします。

Hopper SM90a のワープグループ行列積累算（WGMMA）命令を最適化するときも、Blackwell の第 2 世代 Transformer Engine 向けカーネルを準備するときも、NovaPod はクラウドで最もきれいな低レベル開発環境を提供します。

nvcc -O3 -arch=sm_90a custom_attention.cu -o custom_attention
nsys profile --stats=true ./custom_attention