NovaPodワークロードプレイブック
LoRA ファインチューニング用 GPU
まず安い反復速度が必要で、実行が安定してから規模を上げるときに、この流れを使います。データ、トークナイザ、トレーナー設定を早く検証し、失敗する長い実行を減らすことが目的です。
起動する前に
- - 起動前にデータセットのシャードとトークナイザを用意します。
- - スモークテストは GPU 1 枚と短いシーケンス長から始めます。
- - ディスク予算にチェックポイント、ログ、結合したアダプタを含めます。
- - エージェントのスクリプトが実行を管理するなら、API キーを用意しておきます。
実行手順
手順 01
LoRA 向けテンプレートから始めます
デプロイで Unsloth または PyTorch のテンプレートを選び、CUDA とトレーナーの依存関係が事前構成されるようにします。
手順 02
5〜10 分の検証エポックを実行します
損失が下がり、チェックポイントが正しく書かれ、出力形式が後段の推論と一致することを確認します。
手順 03
メモリとスループットを合わせます
OOM で再起動せず VRAM に収まるよう、バッチサイズ、勾配累積、シーケンス長を調整します。
手順 04
安定した基準のあとだけ拡張します
GPU 1 枚の実行が最初から最後まで再現できてから、より大きい VRAM または複数 GPU へ移します。
LoRA の実行をまず GPU 1 枚で証明します
レンタル GPU での LoRA ファインチューニングが失敗するいちばん多い理由は、データセット、トークナイザ、シーケンス長を短い実行で確認していないことです。カード 1 枚から始めます。24GB の GPU は小さなアダプタのスモークテストに足ります。H100 や H200 は、すでに信頼している実行のためであり、損失曲線を初めて見るためのものではありません。テンプレートのページから Unsloth または PyTorch のテンプレートを起動し、CUDA とトレーナーがすでに入った状態にします。
トレーナーを始める前に、データセットとトークナイザをポッドへコピーします。5 分から 10 分の実行は、チェックポイントを書き、損失が動き、あとでサーブする形式に合うサンプルを出す必要があります。チェックポイントのディレクトリが空なら、時間を追加で買う前にパスを直します。ディスクはベース重み、アダプタ、ログを入れる必要があります。ディスクが一杯だと、トレーナーが無作為に落ちたように見えます。
バッチをカードに合わせてから拡張します
最初の長い実行でメモリ不足なら、バッチまたはシーケンス長が収まっていません。バッチを下げ、勾配累積を上げ、同じシードを保ってコードの変更とハードウェアの変更を区別します。GPU 1 枚が再現可能なエポックを終えてからだけ、より多い VRAM または 2 枚以上の GPU へ移します。マルチ GPU は二番目の実験です。壊れた設定を飛ばす方法ではありません。
数時間のジョブの前に、その GPU の料金ページでライブの売り気配と中央値を読みます。中央値を大きく下回る売り気配は、得であることも、長く残らないホストであることもあります。ポッドが止まっても損失が数分で済むよう、チェックポイントを十分な頻度で保存します。アダプタを書き出し、ポッドの外へコピーし、レンタルを止めます。秒単位の時計は、学習が終わったことを知りません。
実行が失敗したときに記録すること
テンプレート名、GPU 名、シーケンス長、バッチサイズ、トレーナーログの最後の 20 行を残します。それが役に立つサポートメモです。それらの項目なしに GPU が壊れていると言うと、同じスモークテストに戻されます。SSH 自体が失敗するなら、ポッドはすでに止まっていることがあります。レンタルを開き、現在のホストをコピーします。
アダプタが良いときは、ベースモデルとアダプタを載せられるカードで vLLM のプレイブックからサーブします。その売り気配をサービング用テンプレートと比べていないなら、学習ポッドを推論サーバーとして動かし続けないでください。学習イメージとサービングイメージは、テンプレートからの別の起動です。
事前キャッシュされたコンテナと1秒の暗号資産決済
基本の CUDA ランタイムと基盤ウェイトは、検証済みの高帯域ノードに配置されています。KYC なしで 15 秒未満に起動し、USDT、USDC、SOL、ETH で支払えます。
費用と安定性のヒント
- - 長いジョブの前に売り気配と中央値を比べます。外れ値は安いことがありますが、不安定なこともあります。
- - 再開できるチェックポイントを使い、スポット型の中断に耐えられるようにします。
- - アダプタを書き出した直後に待機中のレンタルを止め、夜間の消費を避けます。