Qwen3 - 태그 - lee's bloghttps://ken-0913.github.io/myblog/tags/qwen3/Qwen3 - 태그 - lee's blogHugo -- gohugo.ioko-krhyeonjae0913@gmail.com (ken-0913)hyeonjae0913@gmail.com (ken-0913)Sat, 05 Sep 2026 13:00:00 +0900LLM 스터디 5주차 - Terraform으로 AWS EKS에 vLLM Production Stack 배포하기 — Qwen3-8B와 LMCache CPU 오프로딩까지https://ken-0913.github.io/myblog/posts/llm/llm-eks-cluster-exercise/Sat, 05 Sep 2026 13:00:00 +0900ken-0913https://ken-0913.github.io/myblog/posts/llm/llm-eks-cluster-exercise/

vllm-project/production-stack 레포의 tutorials/terraform/eks 튜토리얼을 따라가며 AWS EKS에 Managed Kubernetes + GPU 노드그룹 + vLLM Production Stack을 Terraform으로 올리는 과정을 명령어 단위로 기록한다. 기본 예시는 TinyLlama-1.1B였지만, 이번엔 NVIDIA L4(g6.2xlarge)에 Qwen3-8B를 올리고, 나아가 LMCache로 KV 캐시 CPU 오프로딩까지 켜본다.

클라우드 GPU 인프라는 리전별 쿼터, k8s 버전과 GPU 드라이버 호환성처럼 튜토리얼 문서만 봐서는 알 수 없는 제약이 많다. 그래서 인프라를 실제로 만들기 전에 같은 종류의 제약을 먼저 CLI로 확인하는 것부터 시작했다.

]]>LLM 스터디 5주차 - LLM 서빙 최적화 실전 — Qwen3-14B 벤치마크로 처리량 2.7배 끌어올리기https://ken-0913.github.io/myblog/posts/llm/llm-optimization-in-practice/Fri, 28 Aug 2026 20:00:00 +0900ken-0913https://ken-0913.github.io/myblog/posts/llm/llm-optimization-in-practice/

Qwen3-14B vLLM 서빙 최적화 정리

  • 단일 GPU에서 Qwen3-14B를 vLLM으로 서빙할 때 처리량(throughput)과 지연시간(latency)을 체계적으로 측정하고 개선하는 7단계를 알아본다.

1단계 : GPU 하드웨어 점검

먼저 nvidia-smi로 사전 점검을 진행한다.

  • CUDA/드라이버 호환성
  • 성능 상태(P8=유휴, P0/P1=고성능)
  • 메모리 여유분(46GB 중 사용량)

사용률이 낮은데 부하가 걸려 있으면 배칭 문제를, 전력은 높은데 처리량이 낮으면 메모리 병목을 의심한다. 이 기준으로 이후 벤치마크 결과의 원인을 구분한다.


아래와 같이 플래그를 사용하여 관심있는 항목만 출력해본다.

bash 
root@da1d46d42395:/# nvidia-smi --query-gpu=name,compute_cap,memory.free,memory.used,memory.total --format=csv
name, compute_cap, memory.free [MiB], memory.used [MiB], memory.total [MiB]
NVIDIA A40, 8.6, 45489 MiB, 0 MiB, 46068 MiB

]]>