앞 글에서 병목이 어디에 있는지를 봤다. 이번에는  병목을 실제로 풀어보자. 

1. 요청 배칭과 스케줄링

왜 배칭이 필요한가

prefill은 프롬프트 토큰을 한꺼번에 처리해 연산 강도가 높다. (앞서 말했듯이 연산강도가 높다는 것은 같은 가중치를 한 번 읽고 그것으로 훨씬 많은 토큰을 처리한다)

문제는 decode다. 토큰 하나를 만들려고 수십억 개 파라미터를 전부 읽어야 하니 대역폭만 축내고 연산 유닛은 유휴상태이다. 

여기서 배칭이 들어간다. 요청 세 개를 묶으면 가중치는 여전히 한 번만 읽으면서 토큰은 세 개를 만든다. 연산 강도를 인위적으로 끌어올린다.