vLLM으로 LLM을 서빙하는 클라우드 GPU

템플릿을 열기 전에 GPU를 고르십시오

NovaPod에서 vLLM을 서빙할 때는 가장 낮은 호가가 아니라 VRAM부터 봅니다. 16비트 가중치의 7B 또는 8B 모델은 컨텍스트가 짧으면 24GB 카드에 들어가는 경우가 많습니다. 70B급 모델, 또는 배치가 큰 긴 컨텍스트는 H100이나 H200 같은 데이터센터 카드가 필요합니다. GPU 목록을 열고 카드의 메모리를 읽은 다음, 그 카드의 가격 페이지에서 실시간 호가와 중앙값을 비교하십시오.

호가가 중앙값보다 훨씬 낮으면 스모크 테스트에만 사용하십시오. 프롬프트 몇 개를 서빙하고 프로세스가 유지되는지 본 뒤, 임대를 이어갈지 결정하십시오. 마켓의 시간당 숫자는 포드가 돌아가는 동안 초 단위로 청구되는 요율입니다. 포드를 멈추면 그 시계도 멈춥니다.

vLLM 템플릿을 실행하고 요청 하나를 확인하십시오

템플릿에서 CUDA를 직접 설치하지 말고 vLLM 이미지를 시작하십시오. 첫 부팅은 OpenAI 호환 HTTP 경로를 열어야 합니다. max tokens를 낮게 둔 짧은 채팅 완성 하나를 보내고, JSON 형식, 모델 이름, 감수할 수 있는 타임아웃을 확인하십시오. 경로가 열리지 않으면 흔한 원인은 포드가 아직 이미지를 받는 중일 때, 템플릿 안내와 다른 포트일 때, 디스크에 없는 모델 경로일 때입니다.

첫 테스트는 동시성 1로 유지하십시오. 요청 하나가 돌아온 뒤에만 배치 크기를 올리십시오. 메모리 부족 오류가 보이면 컨텍스트 길이를 줄이거나 마켓에서 다음 VRAM 등급으로 옮기십시오. 24GB 카드에서 70B 모델을 디버그한 뒤 CUDA 지원 티켓을 열지 마십시오. 카드 크기가 맞지 않은 것입니다.

스모크 테스트 뒤에만 트래픽을 옮기십시오

단일 요청 테스트가 안정되면 동시성을 작은 단계로 올리고, 초당 토큰만이 아니라 지연을 보십시오. 30초를 대기시키는 싼 호가는, 이용자가 기다리는 상황이라면 바로 답하는 더 높은 호가보다 비쌀 수 있습니다. 통과한 GPU 이름, 호가, 컨텍스트 길이를 적으십시오. 나중에 포드가 왜 죽었는지 지원에 물을 때 붙이는 메모입니다.

그 메모가 생긴 뒤에만 프로덕션 DNS나 앱 설정을 포드에 연결하십시오. 주 카드가 시장에서 사라지면 더 작은 모델을 하나 준비해 두십시오. 스팟형 제안은 끝날 수 있습니다. 서빙에서 체크포인트가 문제는 아니지만, 모델 가중치는 이미 이미지에 있거나 연결한 디스크에 있어야 합니다. 그렇지 않으면 다음 부팅은 다운로드부터 시작합니다.

엔드포인트가 더 이상 트래픽을 받지 않으면 포드를 끄십시오. 초 단위 청구는 유휴 서버에도 적용됩니다. 같은 이미지를 나중에 다시 켜는 곳은 템플릿 페이지입니다. 시험한 카드의 호가가 아직 타당한지는 H100 SXM과 H200 가격 페이지에서 보십시오.