1. 추측 디코딩 — 작은 모델이 먼저 찍는다

decode는 토큰 하나를 만들 때마다 가중치 전체를 다시 읽는다. 연산은 남는데 대역폭이 모자란 상태다. 추측 디코딩은 이 남는 연산을 활용해 대역폭 병목을 우회한다.

작고 빠른 draft 모델이 다음 토큰 여러 개를 먼저 추측한다. 그다음 크고 정확한 target 모델이 그 추측을 한 번의 forward pass로 한꺼번에 검증한다. draft가 맞힌 부분까지는 그대로 채택하고, 처음 틀린 지점부터는 target이 직접 새로 뽑는다.