Machine Learning Platform Engineering 파트 3은 1 ~ 6장에서 갖춘 플랫폼을 실제 프로젝트에 적용한다. 캡스톤 프로젝트는 세 개이고, 7장은 그중 신분증 객체 탐지기와 영화 추천 시스템의 첫 단계인 데이터 분석과 준비를 다룬다. 여기선 7.1절 Kubeflow 노트북과 7.2절 KFP 데이터 전달을 정리하고, 1 ~ 6장에서 구축한 환경에서 돌린 결과를 정리한다.

1. 한눈에 보기

MLOps 파이프라인 그림에서 7장은 데이터 수집·준비 자리다. 7.1절은 그 단계를 사람이 노트북으로 탐색하는 방법이고, 7.2절은 같은 단계를 KFP 컴포넌트로 나눴을 때 컴포넌트 사이로 데이터를 넘기는 방법이다.

6.1절까지 소득 분류기를 배치 파이프라인과 API 두 가지로 배포했다. 배포한 모델은 처음에는 잘 맞다가, 몇 달 뒤 들어오는 데이터가 학습 때와 달라지면서 조용히 성능이 떨어질 수 있다. 6.2절은 이 데이터 드리프트를 Evidently로 탐지하고 대시보드로 추적한다.

1. 한눈에 보기

6.2절은 그림 아래쪽의 모델 모니터링에 해당한다. 드리프트를 보는 경로는 두 가지로, 5장에서 KFP 배치 추론 파이프라인에 넣은 detect_drift 단계와 6.1절 BentoML API의 마이크로배치 윈도다. 둘 다 4.1절 MLflow 모델 run에 남긴 학습 피처를 기준(reference)으로 삼아 리포트를 Evidently UI에 쌓는다.

4장에서 실험과 모델은 MLflow로, 피처는 Feast로 관리하게 됐다. 하지만 둘을 이어 붙이는 일은 여전히 사람 몫이다. 5장에서는 이 연결을 Kubeflow Pipelines(KFP)로 자동화해, 데이터를 읽는 단계부터 추론 결과를 저장하는 단계까지 한 번에 도는 배치 추론 파이프라인을 만든다.

예제 코드는 practical-mlops/chapter-5에 있다.

Machine Learning Platform Engineering 4장은 MLflow로 실험과 모델을 추적하고 Feast로 피처를 관리하며, 5장은 둘을 Kubeflow Pipelines로 이어 배치 추론 파이프라인을 만든다. 2주차 실습은 1주차에 설치한 홈랩 Kubernetes 클러스터 위에서 그대로 진행한다. 이번에는 Kubernetes 클러스터에 MLflow, Feast, Kubeflow Pipelines를 올린다.

1. 전체 구성