AWS - 태그 - lee's bloghttps://ken-0913.github.io/myblog/tags/aws/AWS - 태그 - lee's blogHugo -- gohugo.ioko-krhyeonjae0913@gmail.com (ken-0913)hyeonjae0913@gmail.com (ken-0913)Fri, 11 Sep 2026 10:00:00 +0900LLM 스터디 6주차 - Scaling LLM Inference with vLLM and AWS Trainium Workshophttps://ken-0913.github.io/myblog/posts/llm/llm-vllm-trainium-workshop/Fri, 11 Sep 2026 10:00:00 +0900ken-0913https://ken-0913.github.io/myblog/posts/llm/llm-vllm-trainium-workshop/

AWS Workshop 아키텍처 : Amazon EKS 기반 vLLM을 활용한 엔터프라이즈 규모의 대규모 언어 모델(LLM) 배포

  • 인프라 레이어: t3.2xlarge Ubuntu 22.04 EC2(개발 환경), VPC 10.0.0.0/16 + public subnet 10.0.1.0/24, SG(22/8000/8080), EKS/ECR/S3/CFN용 IAM Role
  • EKS 클러스터: K8s 1.33, VPC CNI + OIDC, managed node group neuron-trn1-2x(trn1.2xlarge, Neuron-optimized AMI, GP2 100GB, 멀티 AZ)
  • Trainium 통합: Neuron device plugin(daemonset), Neuron scheduler extension(my-scheduler), 칩당 NeuronCore-v2 2개(380 INT8 TOPS), HBM 32GB @820GB/s
  • vLLM 배포: 컨테이너 이미지 public.ecr.aws/neuron/pytorch-inference-vllm-neuronx:0.9.1-neuronx-py310-sdk2.25.0-ubuntu22.04, Init Container 패턴으로 모델 컴파일/캐싱, 대상 모델 TinyLlama-1.1B-Chat-v1.0, tensor-parallel-size=2
  • 스토리지: S3 버킷 ai-infra-summit-vllm-models-cache-{ACCOUNT_ID}(컴파일 아티팩트 캐시), S3 CSI Driver(Mountpoint) + PV/PVC(100Gi, ReadWriteMany)
  • 네트워크/Ingress: Service(LoadBalancer, 8080), NGINX Ingress Controller(경로 기반 라우팅 /)
  • 최적화 기술: Continuous batching, OpenAI 호환 API, Tensor/Pipeline Parallelism, Memory pooling, Speculative decoding
  • 모니터링: K8s 리소스 모니터링, readiness/liveness probe, Prometheus/Grafana/CloudWatch(Lab 4)

 

]]>LLM 스터디 5주차 - Terraform으로 AWS EKS에 vLLM Production Stack 배포하기 — Qwen3-8B와 LMCache CPU 오프로딩까지https://ken-0913.github.io/myblog/posts/llm/llm-eks-cluster-exercise/Sat, 05 Sep 2026 13:00:00 +0900ken-0913https://ken-0913.github.io/myblog/posts/llm/llm-eks-cluster-exercise/

vllm-project/production-stack 레포의 tutorials/terraform/eks 튜토리얼을 따라가며 AWS EKS에 Managed Kubernetes + GPU 노드그룹 + vLLM Production Stack을 Terraform으로 올리는 과정을 명령어 단위로 기록한다. 기본 예시는 TinyLlama-1.1B였지만, 이번엔 NVIDIA L4(g6.2xlarge)에 Qwen3-8B를 올리고, 나아가 LMCache로 KV 캐시 CPU 오프로딩까지 켜본다.

클라우드 GPU 인프라는 리전별 쿼터, k8s 버전과 GPU 드라이버 호환성처럼 튜토리얼 문서만 봐서는 알 수 없는 제약이 많다. 그래서 인프라를 실제로 만들기 전에 같은 종류의 제약을 먼저 CLI로 확인하는 것부터 시작했다.

]]>LLM 스터디 2주차 - 클라우드 벤더와 함께 구축하기 — AWS SageMaker로 보는 모델 서빙 6단계https://ken-0913.github.io/myblog/posts/llm/llm-sagemaker-serving-options/Wed, 12 Aug 2026 21:00:00 +0900ken-0913https://ken-0913.github.io/myblog/posts/llm/llm-sagemaker-serving-options/

AWS SageMaker를 예시로 삼아 퍼블릭 클라우드에서 모델 서빙 시스템을 만드는 6가지 방법을 정리한다. 클라우드 벤더가 서빙 옵션을 설계하는 근본 논리 파악하고 GCP Vertex AI나 Azure ML의 유사한 스펙트럼도 같은 기준으로 판단할 수 있다.

5절의 모든 명령과 로그는 RTX 3050 6GB 리눅스 데스크톱에서 실제로 실행한다.

1. 6단계 스펙트럼

단계 방식 자유도 운영 부담
1 Bedrock 낮음 매우 낮음
2 SageMaker JumpStart 조금 높음 낮음
3 Bring Your Own Model 중간 중간
4 Bring Your Own Code 높음 높음
5 Bring Your Own Serving Image 매우 높음 매우 높음
6 Build Your Own Infrastructure 최고 최고

각 단계에서 AWS가 소유하던 레이어가 하나씩 사용자 책임으로 넘어온다.

]]>