Architecture de mémoire agentique : passage à l'échelle du cache KV et économie des fenêtres de contexte pour les agents d'IA à plusieurs tours

Les agents autonomes tels que Cursor Composer, Claude Code et LangGraph fonctionnent de façon fondamentalement différente des chatbots conversationnels à un seul tour : ils accumulent d'énormes historiques de contexte à travers des appels d'outils rapides et des journaux d'exécution à plusieurs tours.

À mesure que le contexte s'étend vers 64k et 128k jetons, le cache clé-valeur (KV) dépasse fréquemment l'empreinte des poids statiques du modèle dans la VRAM du GPU, ce qui provoque des défauts de manque de mémoire sur les GPU grand public standard.

Nos benchmarks sur les gabarits vLLM et SGLang préconfigurés de NovaPod montrent que l'exécution d'un modèle 32B tel que Qwen 2.5, avec une fenêtre de contexte active de 64k, exige environ 42 GB de VRAM en FP16, ou 28 GB avec une quantification du cache KV en FP8.

Cela fait des cartes de 48 GB (telles que la NVIDIA L40S, la RTX A6000 et la RTX 6000 Ada) et des cartes de 32 GB (NVIDIA RTX 5090) les points d'équilibre incontestés pour les développeurs qui exécutent des bacs à sable d'agents sur NovaPod : elles offrent un démarrage inférieur à 15 s et le débit maximal par dollar.