LLM 스터디 7주차 - llm-d P/D Disaggregation — prefill과 decode를 떼어놓는 이유

Fri, 18 Sep 2026 00:40:00 +0900

LLM 추론은 성격이 전혀 다른 두 단계로 이루어진다. 이 둘을 같은 GPU에서 돌리면 서로를 방해한다.

P/D Disaggregation은 그 둘을 아예 다른 서버로 떼어놓는 방식이다. llm-d는 이 기능을 개념편에서 정리한 EPP에 기본으로 내장하고 있다.

이 글은 llm-d 공식 가이드와 저장소의 실제 매니페스트를 근거로 구조를 정리한다. 가이드의 기준 구성은 GPU 16장이지만, 마지막 절에서는 RTX 3050 6GB 한 장을 논리적으로 둘로 나눠 실제로 띄워본 결과를 함께 싣는다.

1. 용어정리

용어	쉬운 설명
Prefill	입력 프롬프트 전체를 한 번에 읽어서 이해하는 단계
Decode	답변을 한 글자씩 만들어내는 단계
ISL / OSL	Input/Output Sequence Length. 입력이 10,000 토큰, 출력이 1,000 토큰이면 10:1
TTFT	첫 글자가 나오기까지 걸린 시간. 주로 prefill이 좌우한다
ITL	글자와 글자 사이 간격. 주로 decode가 좌우한다

	Prefill	Decode
하는 일	프롬프트 전체를 한 번의 forward pass로 처리	KV 캐시에서 토큰을 하나씩 생성
병목	연산(compute-bound) GPU flops	메모리 대역폭(memory-bandwidth-bound) HBM에서 on-chip으로 데이터를 얼마나 빨리 옮기는가
성격	짧고 폭발적	길고 지속적
영향 지표	TTFT	ITL

한 GPU에 섞어두면 문제가 생긴다. 긴 프롬프트의 prefill이 들어오는 순간 GPU 연산이 거기에 묶이고, 이미 답변을 뱉고 있던 decode 요청들이 그동안 멈춘다.