개념편에서 EPP의 파이프라인을 정리하며 Flow Control을 문서 수준으로만 다뤘다. 이번에는 실제로 켜고 부하를 넣어 큐가 어디에 쌓이는지 를 눈으로 확인했다.

GPU는 RTX 3050 6GB 한 장, vLLM replica는 1개다. 작은 GPU가 오히려 유리하다. Flow Control의 동작은 전부 “풀이 포화됐을 때” 나타나는데, GPU가 작을수록 포화를 만들기 쉽다.

가장 중요한 결과부터 적는다. Flow Control을 켜도 총 대기시간은 줄지 않는다. 기다리는 장소가 GPU에서 게이트웨이로 옮겨갈 뿐이다. 공식 문서도 같은 말을 한다 — “controlling where and for whom TTFT is accrued”.