NovaPod
Les flux de travail modernes d'apprentissage profond consacrent souvent plus de cycles d'ingénierie à lutter contre les incompatibilités de version de la boîte à outils CUDA, les en-têtes de compilation CMake manquants et les dépendances de noyaux C++/Triton cassées, qu'à entraîner des modèles.
Les machines virtuelles cloud traditionnelles introduisent de subtiles couches d'abstraction des pilotes de noyau, qui dégradent les transferts mémoire pair à pair sur les interconnexions multi-GPU et font chuter l'efficacité de passage à l'échelle du parallélisme de données distribué (DDP) nettement en dessous des maximums théoriques.
NovaPod résout ce problème avec des conteneurs en passthrough PCI-e matériel direct et des environnements KVM root préconfigurés avec CUDA 12.4 et versions ultérieures, cuDNN 9, FlashAttention-3 et des topologies en anneau NCCL préajustées.
Qu'il s'agisse de lancer des sessions de recherche JupyterLab interactives ou de coordonner des nœuds 8x H100 SXM pour un entraînement Megatron-LM, les couches de base de frameworks préchargées en cache par NovaPod démarrent en moins de 14 secondes, sans aucun surcoût d'installation de pilotes.
np launch \
--gpu H100_SXM \
--template novapod/pytorch:2.4.1-cuda12.4 \
--disk 120GB \
--name distributed-jax-foundation