Tensor Parallelism - 태그 - lee's bloghttps://ken-0913.github.io/myblog/tags/tensor-parallelism/Tensor Parallelism - 태그 - lee's blogHugo -- gohugo.ioko-krhyeonjae0913@gmail.com (ken-0913)hyeonjae0913@gmail.com (ken-0913)Mon, 24 Aug 2026 18:00:00 +0900LLM 스터디 4주차 - TP/DP 멀티 GPU 서빙 실습 매뉴얼 — Runpod A100 4-GPUhttps://ken-0913.github.io/myblog/posts/llm/llm-tp-dp-serving-lab/Mon, 24 Aug 2026 18:00:00 +0900ken-0913https://ken-0913.github.io/myblog/posts/llm/llm-tp-dp-serving-lab/

단일 노드에 GPU 4개가 달린 환경(NVLink or PCIe)에서 TP=4, TP=2 × DP=2, DP=4 세 가지 구성으로 vLLM 서빙을 띄우고 속도를 비교하는 실습 순서를 정리한다. 원래는 TP=8까지 포함할 계획이었지만 Runpod 인벤토리 제약으로 현재 4-GPU가 상한이라 같은 4장 안에서 TP와 DP 비중만 조절하는 방식으로 실험을 재구성했다.

GPU 4장을 나누는 세 가지 방법 — TP=4, TP=2×DP=2, DP=4 비교

TP 비중이 높을수록(왼쪽) GPU끼리 주고받는 통신라인이 많아지고, DP 비중이 높을수록(오른쪽) 통신라인이 줄어들며 완전히 독립된 복제본으로 바뀐다.

]]>