개념편에서 EPP의 파이프라인을 정리하며 Flow Control을 문서 수준으로만 다뤘다. 이번에는 실제로 켜고 부하를 넣어 큐가 어디에 쌓이는지 를 눈으로 확인했다.

GPU는 RTX 3050 6GB 한 장, vLLM replica는 1개다. 작은 GPU가 오히려 유리하다. Flow Control의 동작은 전부 “풀이 포화됐을 때” 나타나는데, GPU가 작을수록 포화를 만들기 쉽다.

가장 중요한 결과부터 적는다. Flow Control을 켜도 총 대기시간은 줄지 않는다. 기다리는 장소가 GPU에서 게이트웨이로 옮겨갈 뿐이다. 공식 문서도 같은 말을 한다 — “controlling where and for whom TTFT is accrued”.

개념편에서 llm-d가 요청마다 목적지를 다시 고른다는 구조를 정리했다. 그 구조에는 값이 붙는다. 매 요청마다 Envoy가 EPP에게 물어보고 답을 기다린다면, 그 대기는 몇 ms인가.

RTX 3050 한 장이 꽂힌 데스크톱에 kind로 클러스터를 만들고 llm-d를 올려 직접 쟀다. 결론은 TTFT 기준 +2.36 ms, prefix cache 적중률 84.5% 다.

공식 가이드의 기준 구성은 Qwen3-32B / H100 80GB / GPU 16장이다. 이 글은 그것을 GPU 1장 6GB로 줄여 올리는 과정과, 그렇게 줄인 환경에서 무엇을 잴 수 있는지를 함께 다룬다.