1. PagedAttention 을 이해해 보자

LLM은 도중에 계산 결과를 어딘가 보관해야한다. GPU 메모리에 보관하며 토큰이 커질 수록 역시 커진다. 

기존 방식의 문제

• 일반적인 최대치를 상정하여 대비한다. 최대 512토큰이 들어 올 수 있으니 32칸을 비워두세요. (하나의 KV블락당 16이라 가정)
• 실제로 6 토큰만 들어오면 나머지 31블락은 쓸모가 없어지는 경우가 생긴다
• 이 쓸모없어진 블락은 사용할 수 없다.

그림으로 보면 이렇다.

512칸을 예약해 놓고 6칸만 쓴다. 나머지 506칸(98.8%)은 비어 있는데도 다른 요청이 가져다 쓸 수 없다.

2주차 실습들은 서빙 시스템을 어떻게 구성하는지를 다뤘다. 이번에는 질문이 안쪽으로 향한다. vLLM은 정확히 무엇 때문에 빠른가.

CPU만 있는 4GB VM에서 SmolLM-135M을 8단계로 굴린다. HuggingFace 베이스라인을 재고, vLLM과 비교하고, KV 캐시가 낭비되는 과정을 숫자로 본 뒤 PagedAttention이 그것을 어떻게 되돌리는지 확인한다.

결론부터 말하면 단일 요청에서 vLLM은 1.1배밖에 빠르지 않다. 진짜 차이는 동시 사용자가 붙을 때 나온다. 이 글의 8단계는 그 격차가 어디서 오는지를 따라가는 순서다.

1. 실습 환경

GPU가 없다. vLLM의 CPU 빌드를 쓰고, 4GB 메모리 제한 때문에 엔진을 in-process로 띄운다.