Runpod - 태그 - lee's bloghttps://ken-0913.github.io/myblog/tags/runpod/Runpod - 태그 - lee's blogHugo -- gohugo.ioko-krhyeonjae0913@gmail.com (ken-0913)hyeonjae0913@gmail.com (ken-0913)Fri, 28 Aug 2026 20:00:00 +0900LLM 스터디 5주차 - LLM 서빙 최적화 실전 — Qwen3-14B 벤치마크로 처리량 2.7배 끌어올리기https://ken-0913.github.io/myblog/posts/llm/llm-optimization-in-practice/Fri, 28 Aug 2026 20:00:00 +0900ken-0913https://ken-0913.github.io/myblog/posts/llm/llm-optimization-in-practice/

Qwen3-14B vLLM 서빙 최적화 정리

  • 단일 GPU에서 Qwen3-14B를 vLLM으로 서빙할 때 처리량(throughput)과 지연시간(latency)을 체계적으로 측정하고 개선하는 7단계를 알아본다.

1단계 : GPU 하드웨어 점검

먼저 nvidia-smi로 사전 점검을 진행한다.

  • CUDA/드라이버 호환성
  • 성능 상태(P8=유휴, P0/P1=고성능)
  • 메모리 여유분(46GB 중 사용량)

사용률이 낮은데 부하가 걸려 있으면 배칭 문제를, 전력은 높은데 처리량이 낮으면 메모리 병목을 의심한다. 이 기준으로 이후 벤치마크 결과의 원인을 구분한다.


아래와 같이 플래그를 사용하여 관심있는 항목만 출력해본다.

bash 
root@da1d46d42395:/# nvidia-smi --query-gpu=name,compute_cap,memory.free,memory.used,memory.total --format=csv
name, compute_cap, memory.free [MiB], memory.used [MiB], memory.total [MiB]
NVIDIA A40, 8.6, 45489 MiB, 0 MiB, 46068 MiB

]]>LLM 스터디 4주차 - TP/DP 멀티 GPU 서빙 실습 매뉴얼 — Runpod A100 4-GPUhttps://ken-0913.github.io/myblog/posts/llm/llm-tp-dp-serving-lab/Mon, 24 Aug 2026 18:00:00 +0900ken-0913https://ken-0913.github.io/myblog/posts/llm/llm-tp-dp-serving-lab/

단일 노드에 GPU 4개가 달린 환경(NVLink or PCIe)에서 TP=4, TP=2 × DP=2, DP=4 세 가지 구성으로 vLLM 서빙을 띄우고 속도를 비교하는 실습 순서를 정리한다. 원래는 TP=8까지 포함할 계획이었지만 Runpod 인벤토리 제약으로 현재 4-GPU가 상한이라 같은 4장 안에서 TP와 DP 비중만 조절하는 방식으로 실험을 재구성했다.

GPU 4장을 나누는 세 가지 방법 — TP=4, TP=2×DP=2, DP=4 비교

TP 비중이 높을수록(왼쪽) GPU끼리 주고받는 통신라인이 많아지고, DP 비중이 높을수록(오른쪽) 통신라인이 줄어들며 완전히 독립된 복제본으로 바뀐다.

]]>