LLM 스터디 7주차 - llm-d Flow Control 재현 매뉴얼

Sun, 27 Sep 2026 14:00:00 +0900

Flow Control 실측 글에서 얻은 결과를 그대로 다시 만들기 위한 절차서다. 분석과 해석은 그 글에 있고, 이 문서에는 명령과 스크립트만 순서대로 담는다.

GPU 1장짜리 kind 클러스터를 기준으로 쓴다. 기본 배포까지는 kind에 llm-d 올리기를 따라온 상태를 전제한다.

0. 전제 조건

아래가 이미 떠 있어야 한다.

항목	값
클러스터	kind, GPU 노출 완료(`nvidia.com/gpu` 광고됨)
llm-d Router	chart `llm-d-router-standalone` `v0`, release `optimized-baseline`
배포 모드	Standalone (EPP 파드에 Envoy 사이드카)
모델 서버	vLLM 1 replica, `Qwen/Qwen3-0.6B`
네임스페이스	`llm-d-lab`
저장소	`~/llm-d` (guides 포함)

0-1. 시작 상태 확인

$ export REPO_ROOT=~/llm-d
$ export NAMESPACE=llm-d-lab

$ kubectl get pod -n $NAMESPACE
NAME                                                         READY   STATUS
optimized-baseline-epp-5fbd7457f9-9xcr7                      2/2     Running
optimized-baseline-nvidia-gpu-vllm-decode-7978d9d5c9-h59gz   1/1     Running

$ helm list -n $NAMESPACE
NAME                 CHART                       STATUS
optimized-baseline   llm-d-router-standalone     deployed

컨텍스트를 먼저 확인한다. kind 클러스터를 여러 개 쓰면 kubectl config current-context가 엉뚱한 곳을 가리키기 쉽다. 모든 명령에 --context kind-gpu-lab을 붙이거나 kubectl config use-context로 고정해둔다.

Runbook - 태그 - lee's blog

LLM 스터디 7주차 - llm-d Flow Control 재현 매뉴얼

0. 전제 조건