Memory Fragmentation - 태그 - lee's bloghttps://ken-0913.github.io/myblog/tags/memory-fragmentation/Memory Fragmentation - 태그 - lee's blogHugo -- gohugo.ioko-krhyeonjae0913@gmail.com (ken-0913)hyeonjae0913@gmail.com (ken-0913)Sat, 22 Aug 2026 02:49:06 +0900LLM 스터디 3주차 - PagedAttention 직접 증명하기 — vLLM 블록 테이블 꺼내 보기https://ken-0913.github.io/myblog/posts/llm/llm-paged-attention-verify/Sat, 22 Aug 2026 02:49:06 +0900ken-0913https://ken-0913.github.io/myblog/posts/llm/llm-paged-attention-verify/

LLM은 도중에 계산 결과를 어딘가 보관해야한다. GPU 메모리에 보관하며 토큰이 커질 수록 역시 커진다. 

  • 일반적인 최대치를 상정하여 대비한다. 최대 512토큰이 들어 올 수 있으니 32칸을 비워두세요. (하나의 KV블락당 16이라 가정)
  • 실제로 6 토큰만 들어오면 나머지 31블락은 쓸모가 없어지는 경우가 생긴다
  • 이 쓸모없어진 블락은 사용할 수 없다.

그림으로 보면 이렇다.

연속 할당의 낭비 — 최대치를 미리 잡아 둔다

512칸을 예약해 놓고 6칸만 쓴다. 나머지 506칸(98.8%)은 비어 있는데도 다른 요청이 가져다 쓸 수 없다.

]]>