NovaPod워크로드 플레이북
LoRA 파인튜닝용 GPU
먼저 싼 반복 속도가 필요하고, 실행이 안정된 뒤에 규모를 키울 때 이 흐름을 사용하십시오. 데이터, 토크나이저, 트레이너 설정을 일찍 검증해 실패한 장기 실행을 줄이는 것이 목표입니다.
실행하기 전에
- - 실행 전에 데이터셋 샤드와 토크나이저를 준비합니다.
- - 스모크 테스트는 GPU 한 장과 짧은 시퀀스 길이로 시작합니다.
- - 디스크 예산에 체크포인트, 로그, 병합된 어댑터를 포함합니다.
- - 에이전트 스크립트가 실행을 관리하면 API 키를 준비해 둡니다.
실행 단계
단계 01
LoRA에 맞는 템플릿에서 시작합니다
배포에서 Unsloth 또는 PyTorch 템플릿을 골라, CUDA와 트레이너 의존성이 미리 구성되게 하십시오.
단계 02
5–10분 검증 에폭을 돌립니다
손실이 줄고, 체크포인트가 올바르게 쓰이며, 출력 형식이 이후 추론과 맞는지 확인하십시오.
단계 03
메모리와 처리량을 맞춥니다
OOM 재시작 없이 VRAM에 들어가도록 배치 크기, 그래디언트 누적, 시퀀스 길이를 조정하십시오.
단계 04
안정된 기준 뒤에만 확장합니다
GPU 한 장의 실행이 처음부터 끝까지 재현된 뒤에만 더 큰 VRAM이나 여러 GPU로 옮기십시오.
LoRA 실행을 GPU 한 장에서 먼저 증명하십시오
임대 GPU의 LoRA 파인튜닝이 실패하는 가장 흔한 이유는, 데이터셋, 토크나이저, 시퀀스 길이를 짧은 실행에서 확인하지 않았기 때문입니다. 카드 한 장에서 시작하십시오. 24GB GPU는 작은 어댑터 스모크 테스트에 충분합니다. H100이나 H200은 이미 신뢰하는 실행용이지, 손실 곡선을 처음 보는 자리용이 아닙니다. 템플릿 페이지에서 Unsloth 또는 PyTorch 템플릿을 실행해 CUDA와 트레이너가 이미 설치되게 하십시오.
트레이너를 시작하기 전에 데이터셋과 토크나이저를 포드에 복사하십시오. 5분에서 10분 실행은 체크포인트를 쓰고, 손실이 움직이며, 나중에 서빙할 형식과 맞는 샘플을 내야 합니다. 체크포인트 디렉터리가 비어 있으면 시간을 더 사기 전에 경로를 고치십시오. 디스크는 기본 가중치, 어댑터, 로그를 담아야 합니다. 디스크가 가득 차면 트레이너가 무작위로 죽은 것처럼 보입니다.
배치를 카드에 맞춘 다음 확장하십시오
첫 장기 실행에서 메모리가 부족하면 배치나 시퀀스 길이가 맞지 않는 것입니다. 배치를 낮추고 그래디언트 누적을 올린 뒤, 같은 시드를 유지해 코드 변경과 하드웨어 변경을 구분하십시오. GPU 한 장이 재현 가능한 에폭을 끝낸 뒤에만 더 많은 VRAM이나 둘 이상의 GPU로 옮기십시오. 멀티 GPU는 두 번째 실험입니다. 깨진 설정을 건너뛰는 방법이 아닙니다.
여러 시간짜리 작업 전에 그 GPU 가격 페이지의 실시간 호가와 중앙값을 읽으십시오. 중앙값보다 훨씬 낮은 호가는 이득일 수도, 오래 버티지 않는 호스트일 수도 있습니다. 포드가 죽어도 비용이 몇 분에 그치도록 체크포인트를 자주 저장하십시오. 어댑터를 내보내고 포드 밖으로 복사한 뒤 임대를 멈추십시오. 초 단위 시계는 학습이 끝났는지 알지 못합니다.
실행이 실패하면 무엇을 기록합니까
템플릿 이름, GPU 이름, 시퀀스 길이, 배치 크기, 트레이너 로그의 마지막 스무 줄을 남기십시오. 그것이 쓸모 있는 지원 메모입니다. 그 항목 없이 GPU가 고장났다고만 하면 같은 스모크 테스트로 돌아갑니다. SSH 자체가 실패하면 포드가 이미 멈춘 것일 수 있습니다. 임대를 열고 현재 호스트를 복사하십시오.
어댑터가 좋으면, 기본 모델과 어댑터를 담을 수 있는 카드에서 vLLM 플레이북으로 서빙하십시오. 그 호가를 서빙 템플릿과 비교하지 않았다면 학습 포드를 추론 서버로 켜 두지 마십시오. 학습 이미지와 서빙 이미지는 템플릿에서 서로 다른 부팅입니다.
미리 데운 컨테이너 캐시와 1초 암호화폐 정산
기본 CUDA 런타임과 기반 가중치는 검증된 고대역 노드에 배포되어 있습니다. KYC 없이 15초 안에 인스턴스를 부팅하고 USDT, USDC, SOL, ETH로 결제하십시오.
비용과 안정성 팁
- - 장기 작업 전에 호가와 중앙값을 비교하십시오. 이상치는 쌀 수 있지만 불안정할 수 있습니다.
- - 다시 시작할 수 있는 체크포인트를 사용해 스팟형 중단을 견디게 하십시오.
- - 어댑터를 내보낸 직후 유휴 임대를 멈추어 밤새 소진을 피하십시오.