LLM 서비스 최적화가 중요한 이유

앞선 장들이 모델을 동작하게 만드는 이야기였다면 이번 챕터는 LLM을 빠르고 효율적으로 돌아가게 하기 위한 내용이다.

고객 경험

응답 지연은 만족도와 직결된다. 질문을 던지고 첫 토큰까지 20초를 기다린다면 대부분 이탈한다. 같은 하드웨어에서 그 20초를 1초로 줄이면 제품의 성공 확률을 높힐수 있다. 다만 빠를수록 무조건 좋은 것은 아니다.

0.1초를 0.01초로 줄여봐야 사람은 그 차이를 느끼지 못한다. 곡선이 평평해지는 구간에서는 지연을 조금 내주고 처리량을 얻는 편이 낫다. 0.01초를 0.1초로 되돌리는 대신 동시 처리량을 올리면 비용 효율이 좋아진다.