앞선 두 실습은 서버 한 대에서 프로세스를 직접 띄웠다. 이번에는 Kubernetes 위에 얹는다. KubeRay Operator가 Ray 클러스터를 관리하고, 그 위에서 Ray Serve LLM이 vLLM 엔진을 감싸 OpenAI 호환 엔드포인트를 노출하는 구조를 만든다.

최종 목표는 하나다. kubectl apply 한 번으로 LLM 서빙이 뜨고, 모델을 바꾸려면 매니페스트만 고치면 되는 상태다.

이 글의 모든 명령과 결과는 RTX 3050 6GB 한 장이 달린 리눅스 데스크톱에서 실제로 실행한 것이다. 6GB는 LLM 서빙에 넉넉한 크기가 아니라서, 모델과 설정을 어디까지 줄여야 하는지가 이 실습의 절반을 차지한다.

앞 글에서는 모델 하나를 어떻게 빠르게 굴릴지를 다뤘다. 배칭, 스트리밍, 프로세스 격리가 주제였다. 이번에는 질문이 바뀐다. 모델이 여러 개일 때 무엇을 메모리에 올려두고 어디로 보낼 것인가.

같은 저장소 orca3/llm-model-inference의 ch03/multi_model_serving을 쓴다. 모델 4개를 LRU 캐시로 관리하고, 그중 하나는 NVIDIA Triton 컨테이너에 위임하는 구조다.

이 글의 모든 로그와 명령 결과는 RTX 3050 6GB 리눅스 머신에서 실제로 실행한 것이다.

1. Part 1과 무엇이 다른가

두 랩은 완전히 독립적이다. 그리고 torch 버전이 충돌하므로 venv를 반드시 분리해야 한다.

LLM 서빙은 보통 vLLM이나 TGI 같은 프레임워크를 가져다 쓴다. 하지만 그 안에서 무슨 일이 벌어지는지는 직접 만들어봐야 감이 온다. 이번 실습은 배칭 · 스트리밍 · 프로세스 격리를 손으로 구현한 서버를 띄우고, 로그를 읽어 동작을 확인하는 과정이다.

대상 코드는 책 Hands-On LLM Serving and Optimization의 공식 저장소 orca3/llm-model-inference 중 ch03/single_model_llm_serving이다. 모델은 facebook/opt-125m을 쓴다. 작아서 6GB GPU에서도 충분히 돌아간다.

이 글의 모든 로그와 명령 결과는 RTX 3050 6GB 리눅스 머신에서 실제로 실행한 것이다.

이 글의 구성

1부. 임베딩과 위치 정보 (Token을 벡터로 바꾸기)

LLM은 글자를 직접 다루지 못한다. 오직 숫자(벡터) 만 계산할 수 있다. 그래서 첫 단계는 단어(정확히는 token)를 벡터로 바꾸는 것인데, 이를 embedding(임베딩) 이라 한다. 먼저 GPT-3를 예로 임베딩이 행렬 연산으로 어떻게 이뤄지는지 본다.

2026년 7월 말, KubeCon + CloudNativeCon Japan이 요코하마에서 열렸다. 이번 행사의 공통된 주제는 AI 워크로드를 기존 클라우드 네이티브 생태계 위에 어떻게 통합하느냐였다. 아래는 현장에서 다룬 세션 여섯 개를 정리한 내용이다.

1. 키노트: CNCF 현황과 AI 시대의 클라우드 네이티브

CNCF 생태계 현황

Linux Foundation의 Jonathan Bryce(Executive Director)와 Chris Aniszczyk(CTO)가 키노트를 진행했다. KubeCon EU 기준 참석자 13,500명 이상, 100개국 3,500개 조직이 참여했다고 밝혔다. CNCF 프로젝트는 230개를 넘었고 전 세계 기여자는 30만 명, 개발자 수는 6개월 만에 1,500만 명에서 약 2,000만 명으로 늘었다.

GitHub 이슈에 @claude 코멘트를 달면 Claude Code Action이 Actions에서 돌아간다. 이때 MCP 서버를 붙이면 봇이 외부 도구(Datadog 조회, GCP 로그 조회 등)를 직접 호출할 수 있다.
이 글은 Github Actions에서 MCP 서버에 접속하는 방법과 인증이 다른 두 패턴(HTTP·stdio)으로 정리한다.

전체 구조

@claude 코멘트 하나가 다음 흐름을 태운다.

flowchart TD
    U(["개발자: @claude 코멘트"])

    subgraph GH["GitHub Actions"]
        J["claude-code-action Job"]
        M1["MCP: github_comment"]
        M2["MCP: datadog"]
        M3["MCP: gcpobs"]
        J --> M1
        J --> M2
        J --> M3
    end

    subgraph DD["Datadog"]
        DDEP["mcp.datadoghq.com
HTTP 엔드포인트"]
        DDDATA["APM / Logs / Metrics"]
        DDEP --> DDDATA
    end

    subgraph GCP["Google Cloud"]
        STS["STS / WIF Provider"]
        SA["Service Account
claude-obs-mcp"]
        API["Observability API
Logging / Monitoring / Trace"]
        STS -->|impersonate| SA
        SA --> API
    end

    U --> J
    M1 -->|이슈 답글| U
    M2 -->|Bearer 토큰| DDEP
    M3 -->|OIDC JWT / ADC| STS

MCP 서버 접속 방법

MCP(Model Context Protocol) 서버는 Claude에게 도구(tool) 를 제공하는 표준이다. Claude Code Action에 붙일 때는 크게 두 형태로 나뉜다.

LFCS 시리즈 마지막 편으로 Users and Groups (10%) 도메인을 다룬다. 환경 변수, 사용자·그룹·sudo, 리소스 한도(limits)가 핵심 주제이다. 정리 후 인터랙티브 연습 터미널에서 명령을 직접 입력해 본다.

1. 환경 변수

export 없이 정의한 변수는 현재 셸에만, export한 변수는 자식 프로세스에도 전달된다. .bashrc 등 프로필 파일로 로그인 시 자동 설정할 수 있다.

• 값 확인: echo $VARIABLE1, env | grep VARIABLE
• 자식까지 전달: export VARIABLE3="${VARIABLE1}-extended"

2. 사용자·그룹·sudo

usermod로 홈 디렉터리(-d)와 기본 그룹(-g)을 바꾼다. useradd로 셸(-s)·홈(-d -m)·보조 그룹(-G)을 지정해 만든다. sudo 권한은 visudo로 안전하게 편집한다.

LFCS 시리즈 다섯 번째 편으로 Essential Commands (20%) 도메인을 다룬다. 아카이브·압축, find, Git, 출력 리다이렉션, 정규식이 핵심 주제이다. 정리 후 인터랙티브 연습 터미널에서 명령을 직접 입력해 본다.

1. 아카이브·압축

tar 아카이브는 압축 계층(bzip2·gzip 등)을 바꿀 수 있다. bunzip2 -k로 원본을 유지한 채 해제하고, gzip --best로 최고 압축한다.

• bzip2 해제(원본 유지): bunzip2 -k import001.tar.bz2
• gzip 최고 압축: gzip --best import001.tar
• 목록 정렬 출력: tar tf import001.tar.gz | sort

2. find로 찾고 실행

find는 조건으로 파일을 찾고 -exec로 명령을 실행한다. 크기는 -size, 권한은 -perm, 날짜는 -newermt로 비교한다.

LFCS 시리즈 네 번째 편으로 Storage (20%) 도메인의 생성·수정 작업을 다룬다. 1편이 lsblk·df·pvs 같은 조회 위주였다면, 이번 편은 포맷·마운트·LVM 변경 같은 실제 작업이 중심이다. 정리 후 인터랙티브 연습 터미널에서 명령을 직접 입력해 본다.

0. 실습 환경 준비 (loop device)

/dev/vdb 같은 여분 디스크가 있다고 가정한다. 하지만 일반 리눅스에는 이런 디스크가 없으므로, 이미지 파일을 블록 장치처럼 연결하는 loop device로 실습 환경을 만든다. fallocate로 빈 이미지를 만들고 losetup으로 /dev/loopN에 붙인다. 

• fallocate -l 1G: 실제 1GB를 즉시 할당해 이미지 파일을 만든다.
• losetup -f: 비어 있는 첫 loop 장치를 자동 선택한다. -P는 파티션 인식, --show는 할당된 장치명을 출력한다.

이렇게 만든 /dev/loop0는 아래 문제들의 /dev/vdb 자리에 그대로 대입하면 된다.

LFCS 시리즈 세 번째 편으로 Networking (25%) 도메인을 다룬다. 시간 동기화, 패킷 필터링(iptables), 원격 파일시스템, 로드밸런서, OpenSSH가 핵심 주제이다. 정리 후 마지막의 인터랙티브 연습 터미널에서 명령을 직접 입력해 본다.

1. 시간 동기화

현재 시간·타임존·동기화 상태는 timedatectl로 한 번에 확인한다. NTP 서버는 /etc/systemd/timesyncd.conf의 NTP(주 서버)와 FallbackNTP(대체)로 설정한다. 설정 후 systemctl restart systemd-timesyncd로 서비스를 재시작한다.

• 상태 확인: timedatectl
• 설정 파일: /etc/systemd/timesyncd.conf — NTP=, FallbackNTP=, PollIntervalMaxSec=, ConnectionRetrySec=

2. 패킷 필터링 (iptables)

필터 규칙은 INPUT/OUTPUT/FORWARD 체인에, NAT는 -t nat의 PREROUTING 등에 넣는다. 포트 차단은 -j DROP, 리다이렉트는 REDIRECT --to-port, 특정 IP 허용은 -s이다.