vLLM で LLM をサーブするクラウド GPU

テンプレートを開く前に GPU を選びます

NovaPod で vLLM をサーブするときは、いちばん低い売り気配ではなく VRAM から見ます。16 ビット重みの 7B または 8B モデルは、コンテキストが短ければ 24GB のカードに収まることが多いです。70B 級のモデル、またはバッチの大きい長いコンテキストには、H100 や H200 のようなデータセンターカードが必要です。GPU 一覧を開き、カードのメモリを読んでから、そのカードの料金ページでライブの売り気配と中央値を比べてください。

売り気配が中央値を大きく下回るときは、スモークテストだけに使います。プロンプトを数件サーブし、プロセスが落ちないかを見てから、レンタルを続けるか決めてください。マーケットの時間単価は、ポッドが動いている間に秒単位で請求される料率です。ポッドを止めるとその時計も止まります。

vLLM テンプレートを起動し、リクエストを 1 件確認します

テンプレートから、CUDA を手で入れずに vLLM イメージを開始します。最初の起動では OpenAI 互換の HTTP 経路が開くはずです。max tokens を低くした短いチャット補完を 1 件送り、JSON の形、モデル名、許容できるタイムアウトを確認します。経路が開かないときの主な原因は、ポッドがまだイメージを取得中であること、テンプレートの説明と違うポートであること、ディスクにないモデルパスであることです。

最初のテストは同時実行 1 のままにします。リクエストが 1 件返ってからだけ、バッチサイズを上げます。メモリ不足のエラーが出たら、コンテキスト長を下げるか、マーケットで次の VRAM クラスへ移ります。24GB のカードで 70B モデルを調べたあと、CUDA のサポートチケットを開かないでください。カードの容量が合っていません。

スモークテストのあとだけトラフィックを移します

単一リクエストのテストが安定したら、同時実行を小さい段階で上げ、秒あたりトークンだけでなく遅延を見ます。30 秒待たせる安い売り気配は、利用者が待っているなら、すぐ答える高い売り気配より高くつくことがあります。通過した GPU 名、売り気配、コンテキスト長を書き留めてください。あとでポッドが止まった理由をサポートに聞くときに貼るメモです。

そのメモができてから、本番の DNS またはアプリ設定をポッドに向けます。主カードが市場から消えたときのために、より小さいモデルを用意しておきます。スポット型のオファーは終わることがあります。サービングでチェックポイントは問題になりませんが、モデル重みはすでにイメージ上か、接続したディスク上にある必要があります。なければ次の起動はダウンロードから始まります。

エンドポイントがトラフィックを受けなくなったらポッドを止めます。秒単位の請求は、待機中のサーバーにも続きます。同じイメージをあとで再起動する場所はテンプレートのページです。試したカードの売り気配がまだ妥当かは、H100 SXM と H200 の料金ページで確認します。