2주차 실습들은 서빙 시스템을 어떻게 구성하는지를 다뤘다. 이번에는 질문이 안쪽으로 향한다. vLLM은 정확히 무엇 때문에 빠른가.

CPU만 있는 4GB VM에서 SmolLM-135M을 8단계로 굴린다. HuggingFace 베이스라인을 재고, vLLM과 비교하고, KV 캐시가 낭비되는 과정을 숫자로 본 뒤 PagedAttention이 그것을 어떻게 되돌리는지 확인한다.

결론부터 말하면 단일 요청에서 vLLM은 1.1배밖에 빠르지 않다. 진짜 차이는 동시 사용자가 붙을 때 나온다. 이 글의 8단계는 그 격차가 어디서 오는지를 따라가는 순서다.

1. 실습 환경

GPU가 없다. vLLM의 CPU 빌드를 쓰고, 4GB 메모리 제한 때문에 엔진을 in-process로 띄운다.