앞선 두 실습은 서버 한 대에서 프로세스를 직접 띄웠다. 이번에는 Kubernetes 위에 얹는다. KubeRay Operator가 Ray 클러스터를 관리하고, 그 위에서 Ray Serve LLM이 vLLM 엔진을 감싸 OpenAI 호환 엔드포인트를 노출하는 구조를 만든다.

최종 목표는 하나다. kubectl apply 한 번으로 LLM 서빙이 뜨고, 모델을 바꾸려면 매니페스트만 고치면 되는 상태다.

이 글의 모든 명령과 결과는 RTX 3050 6GB 한 장이 달린 리눅스 데스크톱에서 실제로 실행한 것이다. 6GB는 LLM 서빙에 넉넉한 크기가 아니라서, 모델과 설정을 어디까지 줄여야 하는지가 이 실습의 절반을 차지한다.

2026년 7월 말, KubeCon + CloudNativeCon Japan이 요코하마에서 열렸다. 이번 행사의 공통된 주제는 AI 워크로드를 기존 클라우드 네이티브 생태계 위에 어떻게 통합하느냐였다. 아래는 현장에서 다룬 세션 여섯 개를 정리한 내용이다.

1. 키노트: CNCF 현황과 AI 시대의 클라우드 네이티브

CNCF 생태계 현황

Linux Foundation의 Jonathan Bryce(Executive Director)와 Chris Aniszczyk(CTO)가 키노트를 진행했다. KubeCon EU 기준 참석자 13,500명 이상, 100개국 3,500개 조직이 참여했다고 밝혔다. CNCF 프로젝트는 230개를 넘었고 전 세계 기여자는 30만 명, 개발자 수는 6개월 만에 1,500만 명에서 약 2,000만 명으로 늘었다.

이번 편은 Domain 4: Platform APIs and Provisioning Infrastructure (12%) 를 정리한다. 핵심은 Kubernetes의 API + 조정 루프(reconciliation loop) 가 플랫폼 엔지니어링의 엔진이라는 것이다. CRD·Operator·프로비저닝 도구로 Kubernetes를 확장해 셀프서비스 API를 만든다.

Kubernetes API와 조정 루프

모든 도구(kubectl, 대시보드, 커스텀 훅)가 동일한 API와 상호작용한다. 오브젝트는 spec(원하는 상태) 과 status(Kubernetes가 채우는 관측 상태) 로 구성된다.

조정 루프의 4단계는 핵심이다.

Observe(관찰) → Compare(원하는 상태와 비교) → Act(차이가 있으면 조치) → Repeat(반복)

이 루프는 폴링이 아니라 이벤트 기반(event-driven) 이다. 컨트롤러는 변경 이벤트에 반응하며, Informer가 watch로 감시하고 캐싱한다.

ICA(Istio Certified Associate) 시험을 준비하기 위한 정리 시리즈의 첫 편이다. 이번 편은 Service Mesh를 이해하기 위한 전제 개념인 Kubernetes Service, Sidecar, Envoy를 다룬다. 세 개념은 결국 Istio 아키텍처로 이어지는 밑바탕이 된다.

Kubernetes Service

Pod는 Kubernetes의 가장 작은 배포 단위이지만 **일시적(ephemeral)**이다. Deployment의 의도 상태를 유지하는 과정에서 Pod가 동적으로 생성·종료되며, 이때 Pod의 IP가 계속 변경된다. 그래서 프론트엔드가 개별 Pod IP를 직접 추적하는 방식은 현실적이지 않다.

Service는 **안정적인 IP(stable IP)**를 가지고 Pod 집합으로 트래픽을 라우팅하는 추상화 계층이다. 대상 Pod는 보통 label로 선택되므로, Pod에 올바른 label이 지정되어 있어야 Service가 정상 동작한다.

선언적 vs 명령적 (Declarative vs Imperative)

Imperative(명령적) 는 레시피처럼 단계별로 How를 지시한다. Declarative(선언적) 는 메뉴 주문처럼 원하는 결과, 즉 desired state(원하는 상태) 만 선언한다.

플랫폼 엔지니어링은 선언적 접근을 선호(preferred) 한다. 선언된 상태는 control loop(제어 루프) 가 감시하며 실제 상태를 원하는 상태로 reconcile(조정) 한다.

Imperative가 여전히 유효한 경우는 디버깅, 긴급 핫픽스(emergency hotfix), 긴급 스케일링, 실험 정도다. 단, 이후 반드시 선언적 정의로 반영(backfill)해야 한다.