エージェントメモリアーキテクチャ: マルチターン AI エージェントのための KV キャッシュ拡大とコンテキスト窓の経済

Cursor Composer、Claude Code、LangGraph のような自律エージェントは、単一ターンの会話チャットボットと根本的に違って動きます。速いツール呼び出しとマルチターン実行ログにまたがり、巨大なコンテキスト履歴を積みます。

コンテキストが 64k と 128k トークンへ広がると、Key-Value（KV）キャッシュは GPU VRAM で静的なモデル重みの占有をしばしば上回り、標準的なコンシューマ GPU でメモリ不足を起こします。

NovaPod の事前構成された vLLM と SGLang テンプレートでのベンチマークは、Qwen 2.5 のような 32B モデルを 64k のアクティブコンテキスト窓で動かすと、FP16 で約 42GB の VRAM、FP8 の KV キャッシュ量子化では 28GB が必要であることを示します。

そのため 48GB カード（NVIDIA L40S、RTX A6000、RTX 6000 Ada）と 32GB カード（NVIDIA RTX 5090）は、NovaPod でエージェントサンドボックスを動かす開発者にとって明確な適正点です。15 秒未満の起動と、ドルあたり最大のスループットを届けます。