성능관점에서 vLLM 파드 중 “어느 파드로 보낼 것인가” 가는 중요한 요소이다. llm-d는 이를 해결 하는  Kubernetes 네이티브 추론 서빙 스택이다.

CNCF 샌드박스 프로젝트이며, vLLM이나 SGLang 같은 엔진을 래핑하여 확장한다. 이 글은 llm-d 공식 문서를 읽고 구조를 정리한 개념편이다.

1. 왜 일반 로드밸런서로는 부족한가

Kubernetes Service는 L4 로드밸런서다. kube-proxy는 TCP 연결 단위로 목적지를 무작위 배정하고, 그 뒤로는 keep-alive 때문에 같은 파드에 고착된다.

일반 요청이라면 문제가 없다. 하지만 LLM 추론은 두 가지 이유로 다르다.