Transformer - 태그 - lee's bloghttps://ken-0913.github.io/myblog/tags/transformer/Transformer - 태그 - lee's blogHugo -- gohugo.ioko-krhyeonjae0913@gmail.com (ken-0913)hyeonjae0913@gmail.com (ken-0913)Fri, 07 Aug 2026 20:00:00 +0900LLM 스터디 1주차 - Transformer격파하기https://ken-0913.github.io/myblog/posts/llm/llm-series-all-in-one/Fri, 07 Aug 2026 20:00:00 +0900ken-0913https://ken-0913.github.io/myblog/posts/llm/llm-series-all-in-one/
다루는 것
1부 임베딩과 위치 정보 (Token을 벡터로 바꾸기)
2부 Q·K·V로 문맥을 섞는 self-attention
3부 Multi-Head 마무리 — concat과 Wₒ
4부 각 Token을 따로 가공하는 MLP
5부 prefill, decode, KV Cache
6부 출력층과 sampling — 다시 글자로

1부. 임베딩과 위치 정보 (Token을 벡터로 바꾸기)

LLM은 글자를 직접 다루지 못한다. 오직 숫자(벡터) 만 계산할 수 있다. 그래서 첫 단계는 단어(정확히는 token)를 벡터로 바꾸는 것인데, 이를 embedding(임베딩) 이라 한다. 먼저 GPT-3를 예로 임베딩이 행렬 연산으로 어떻게 이뤄지는지 본다.

]]>