KV Cache - 태그 - lee's bloghttps://ken-0913.github.io/myblog/tags/kv-cache/KV Cache - 태그 - lee's blogHugo -- gohugo.ioko-krhyeonjae0913@gmail.com (ken-0913)hyeonjae0913@gmail.com (ken-0913)Mon, 10 Aug 2026 21:00:00 +0900LLM 스터디 2주차 - 단일 모델 LLM 서빙 서버 직접 만들어보기https://ken-0913.github.io/myblog/posts/llm/llm-serving-single-model-lab/Mon, 10 Aug 2026 21:00:00 +0900ken-0913https://ken-0913.github.io/myblog/posts/llm/llm-serving-single-model-lab/

LLM 서빙은 보통 vLLM이나 TGI 같은 프레임워크를 가져다 쓴다. 하지만 그 안에서 무슨 일이 벌어지는지는 직접 만들어봐야 감이 온다. 이번 실습은 배칭 · 스트리밍 · 프로세스 격리를 손으로 구현한 서버를 띄우고, 로그를 읽어 동작을 확인하는 과정이다.

대상 코드는 책 Hands-On LLM Serving and Optimization의 공식 저장소 orca3/llm-model-inference 중 ch03/single_model_llm_serving이다. 모델은 facebook/opt-125m을 쓴다. 작아서 6GB GPU에서도 충분히 돌아간다.

이 글의 모든 로그와 명령 결과는 RTX 3050 6GB 리눅스 머신에서 실제로 실행한 것이다.

]]>LLM 스터디 1주차 - Transformer격파하기https://ken-0913.github.io/myblog/posts/llm/llm-series-all-in-one/Fri, 07 Aug 2026 20:00:00 +0900ken-0913https://ken-0913.github.io/myblog/posts/llm/llm-series-all-in-one/
다루는 것
1부 임베딩과 위치 정보 (Token을 벡터로 바꾸기)
2부 Q·K·V로 문맥을 섞는 self-attention
3부 Multi-Head 마무리 — concat과 Wₒ
4부 각 Token을 따로 가공하는 MLP
5부 prefill, decode, KV Cache
6부 출력층과 sampling — 다시 글자로

1부. 임베딩과 위치 정보 (Token을 벡터로 바꾸기)

LLM은 글자를 직접 다루지 못한다. 오직 숫자(벡터) 만 계산할 수 있다. 그래서 첫 단계는 단어(정확히는 token)를 벡터로 바꾸는 것인데, 이를 embedding(임베딩) 이라 한다. 먼저 GPT-3를 예로 임베딩이 행렬 연산으로 어떻게 이뤄지는지 본다.

]]>