Arquitectura de memoria agéntica: escalado de la caché KV y economía de la ventana de contexto para agentes de IA de varios turnos

Los agentes autónomos como Cursor Composer, Claude Code y LangGraph operan de un modo esencialmente distinto al de los chatbots conversacionales de un solo turno: acumulan historiales de contexto enormes a lo largo de llamadas rápidas a herramientas y de registros de ejecución de varios turnos.

A medida que el contexto se expande hacia 64k y 128k tokens, la caché de clave-valor (KV) supera con frecuencia la huella de los pesos estáticos del modelo en la VRAM de la GPU, y provoca fallos por falta de memoria en las GPU de consumo habituales.

Nuestras evaluaciones en las plantillas preconfiguradas de vLLM y SGLang de NovaPod demuestran que ejecutar un modelo de 32B, como Qwen 2.5, con una ventana de contexto activo de 64k requiere aproximadamente 42 GB de VRAM en FP16, o 28 GB con cuantización FP8 de la caché KV.

Eso convierte a las tarjetas de 48 GB (como NVIDIA L40S, RTX A6000 y RTX 6000 Ada) y a las de 32 GB (NVIDIA RTX 5090) en los puntos óptimos indiscutibles para los desarrolladores que ejecutan entornos aislados de agentes en NovaPod: arranque por debajo de 15 s y el máximo rendimiento por dólar.