Aprovechar el hardware en bruto: escribir kernels a medida de Triton y CUDA 12 en arquitecturas Blackwell y Hopper

A medida que los modelos de IA escalan, las bibliotecas estándar de multiplicación de matrices, como cuBLAS, suelen dejar sin aprovechar un rendimiento importante en patrones de atención dispersa especializados o en funciones de activación fusionadas a medida.

Los ingenieros de kernels que desarrollan en Triton o en CUDA C++ en bruto necesitan visibilidad profunda de los registros de hardware, de los conflictos de bancos de memoria compartida y de las canalizaciones de transferencia asíncrona del acelerador de memoria de tensores (TMA).

Como las instancias de NovaPod se ejecutan con paso directo de hardware bare metal, los desarrolladores tienen acceso sin trabas a las herramientas de perfilado NVIDIA Nsight Systems y Nsight Compute, sin interferencia del hipervisor.

Tanto si usted optimiza instrucciones de multiplicación-acumulación de matrices de grupos de warps (WGMMA) en Hopper SM90a como si prepara kernels para el motor Transformer de segunda generación de Blackwell, NovaPod ofrece el entorno de desarrollo de bajo nivel más limpio de la nube.

nvcc -O3 -arch=sm_90a custom_attention.cu -o custom_attention
nsys profile --stats=true ./custom_attention