NovaPod
Escalar las API de LLM de producción, desde una prueba de concepto hasta servir miles de solicitudes concurrentes, revela de inmediato techos de rendimiento: el procesamiento por lotes estático deja ociosos los núcleos de cómputo de la GPU, mientras que las cachés KV sin gestión provocan fallos por falta de memoria.
En NovaPod, nuestras plantillas de inferencia de producción combinan el procesamiento por lotes continuo, el prellenado por fragmentos y PagedAttention para eliminar por completo la fragmentación de memoria, y entregan hasta 4x más rendimiento de tokens que los servidores de modelos ingenuos.
En instancias NVIDIA H200 SXM5 (141 GB de HBM3e a 4.8 TB/s de ancho de banda), una sola GPU puede servir con holgura Llama 3 70B en precisión FP8 y conservar margen de memoria suficiente para 128k tokens de contexto activo.
Además, todos los nodos de servicio de NovaPod exponen puntos de conexión estándar compatibles con OpenAI, con transmisión por eventos enviados por el servidor (SSE), de modo que las aplicaciones posteriores pueden sustituirlos de inmediato.
python3 -m vllm.entrypoints.openai.api_server \
--model meta-llama/Meta-Llama-3-70B-Instruct \
--tensor-parallel-size 4 \
--gpu-memory-utilization 0.95 \
--enable-chunked-prefill \
--port 8000