NovaPod
지난 한 해 vLLM과 SGLang은 대규모 언어 모델 서빙 성능을 다시 정의했고, NovaPod의 원클릭 템플릿 라이브러리에서 표준 선택이 되었습니다.
이 기술 벤치마크에서는 단일 장치 NVIDIA H200 SXM5 인스턴스(141GB HBM3e)에서 두 엔진을 시험합니다. 무거운 시스템 프롬프트 재사용과 구조화 JSON 출력이 있는 합성 멀티턴 대화 1,000건입니다.
SGLang의 RadixAttention 알고리즘은 반복되는 에이전트 컨텍스트 헤더와 도구 설명을 처리할 때 첫 토큰까지 시간(TTFT)을 34% 낮췄습니다.
한편 vLLM의 청크 프리필은 128건을 넘는 돌발적 동시 사용자 부하에서 더 높은 처리량 안정성을 보였습니다. 두 스택 모두 NovaPod 마켓에서 원클릭 배포로 완전히 지원됩니다.
핵심 정리반복되는 에이전트 시스템 프롬프트에는 SGLang RadixAttention이 전례 없는 TTFT 감소를 제공합니다. 균일한 고동시성 공개 API에는 vLLM 청크 프리필이 뛰어난 안정성을 유지합니다. 둘 다 NovaPod에서 바로 실행됩니다.