lee's blog
Posts Categories Tags About
lee's blog

 Model Serving

2026

LLM 스터디 7주차 - llm-d P/D Disaggregation — prefill과 decode를 떼어놓는 이유 09-18
LLM 스터디 7주차 - llm-d 아키텍처 — KV 캐시를 아는 게이트웨이 09-16
LLM 스터디 6주차 - Scaling LLM Inference with vLLM and AWS Trainium Workshop 09-11
LLM 스터디 5주차 - Terraform으로 AWS EKS에 vLLM Production Stack 배포하기 — Qwen3-8B와 LMCache CPU 오프로딩까지 09-05
LLM 스터디 5주차 - LLM 서빙 최적화 실전 — Qwen3-14B 벤치마크로 처리량 2.7배 끌어올리기 08-28
LLM 스터디 4주차 - TP/DP 멀티 GPU 서빙 실습 매뉴얼 — Runpod A100 4-GPU 08-24
LLM 스터디 3주차 - LLM 서빙 최적화 기법 — 배칭·어텐션·양자화·prefix 캐싱 08-21
LLM 스터디 3주차 - LLM 서빙의 병목은 어디에 있는가 — GPU 사양부터 연산 강도까지 08-20
LLM 스터디 3주차 - vLLM은 왜 빠른가 — PagedAttention과 연속 배칭 직접 재현하기 08-18
LLM 스터디 2주차 - 클라우드 벤더와 함께 구축하기 — AWS SageMaker로 보는 모델 서빙 6단계 08-12