Speicherarchitektur für Agenten: Skalierung des KV-Caches und Ökonomie des Kontextfensters für mehrstufige KI-Agenten

Autonome Agenten wie Cursor Composer, Claude Code und LangGraph arbeiten grundlegend anders als Chatbots für Gespräche in einem einzelnen Zug: Sie sammeln über schnelle Werkzeugaufrufe und über Ausführungsprotokolle mehrerer Züge massive Historien des Kontexts.

Wenn der Kontext auf 64k und 128k Token wächst, überholt der Key-Value-Cache (KV) im VRAM der GPU häufig den Platzbedarf der statischen Modellgewichte und verursacht Fehler durch Speichermangel auf gewöhnlichen Verbraucher-GPUs.

Unsere Benchmarks auf den vorkonfigurierten Vorlagen für vLLM und SGLang von NovaPod zeigen, dass ein Modell mit 32B wie Qwen 2.5 mit einem aktiven Kontextfenster von 64k ungefähr 42 GB VRAM in FP16 braucht oder 28 GB mit Quantisierung des KV-Caches in FP8.

Damit sind Karten mit 48GB (etwa die NVIDIA L40S, die RTX A6000 und die RTX 6000 Ada) und Karten mit 32GB (NVIDIA RTX 5090) die unbestritten besten Punkte für Entwickler, die Sandboxes für Agenten auf NovaPod betreiben, und liefern Startzeiten unter 15 Sekunden sowie maximalen Durchsatz pro Dollar.