앞선 두 실습은 서버 한 대에서 프로세스를 직접 띄웠다. 이번에는 Kubernetes 위에 얹는다. KubeRay Operator가 Ray 클러스터를 관리하고, 그 위에서 Ray Serve LLM이 vLLM 엔진을 감싸 OpenAI 호환 엔드포인트를 노출하는 구조를 만든다.

최종 목표는 하나다. kubectl apply 한 번으로 LLM 서빙이 뜨고, 모델을 바꾸려면 매니페스트만 고치면 되는 상태다.

이 글의 모든 명령과 결과는 RTX 3050 6GB 한 장이 달린 리눅스 데스크톱에서 실제로 실행한 것이다. 6GB는 LLM 서빙에 넉넉한 크기가 아니라서, 모델과 설정을 어디까지 줄여야 하는지가 이 실습의 절반을 차지한다.