오버헤드 없는 딥러닝: 베어메탈 NVLink 패브릭에서 PyTorch 2.4, JAX, FlashAttention-3를 오케스트레이션하기

현대 딥러닝 워크플로는 모델을 학습하는 시간보다 CUDA 툴킷 버전 불일치, 누락된 CMake 빌드 헤더, 깨진 C++/Triton 커널 의존성과 씨름하는 엔지니어링 사이클에 더 많은 시간을 쓰는 경우가 많습니다.

기존 클라우드 가상 머신은 멀티 GPU 상호 연결의 P2P 메모리 전송을 떨어뜨리는 미묘한 커널 드라이버 추상화 계층을 넣어, 분산 데이터 병렬(DDP) 확장 효율을 이론적 최댓값보다 크게 낮춥니다.

NovaPod는 CUDA 12.4 이상, cuDNN 9, FlashAttention-3, 사전 조정된 NCCL 링 토폴로지로 구성된 직접 하드웨어 PCI-e 패스스루 컨테이너와 루트 KVM 환경으로 이 문제를 해결합니다.

대화형 JupyterLab 연구 세션을 띄우든, Megatron-LM 학습을 위해 8x H100 SXM 노드를 조율하든, NovaPod의 사전 캐시된 프레임워크 기본 계층은 드라이버 설치 오버헤드 없이 14초 안에 부팅합니다.

np launch \
  --gpu H100_SXM \
  --template novapod/pytorch:2.4.1-cuda12.4 \
  --disk 120GB \
  --name distributed-jax-foundation