Machine Learning Platform Engineering 6장은 배포와 모니터링을 다룬다. 5장에서 소득 분류기를 배치 파이프라인으로 돌렸다면 6장은 같은 모델을 BentoML로 API 서비스로 만들고 Evidently로 데이터 드리프트를 추적한다.

1. 한눈에 보기

MLOps 파이프라인 그림에서 6.1절은 모델 배포와 모델 API부분이다. 모델은 4.1절 MLflow 레지스트리에서 피처는 4.2절 Feast 온라인 스토어(Redis)에서 가져오고 모델 모니터링은 6.2절에서 다룬다.

EDA run의 막대그래프 인자 position="fill"을 "stack"으로 바꿔 run을 하나 더 만들고, 두 그래프가 무엇을 보여 주는지 비교한다.

1. 무엇을 바꾸나

책의 EDA 셀은 범주형 컬럼 8개마다 막대그래프를 그린다. 막대 하나가 컬럼의 값 하나(예: Workclass의 Private)이고, 막대 안은 소득 구간 Target(<=50K, >50K)별 색으로 나뉜다. geom_bar의 position 인자가 두 색을 어떻게 쌓을지 정한다.

2. 실행

JupyterLab에서 책 노트북 옆에 새 노트북 eda_fill_vs_stack.ipynb를 만들고, 4.1절과 같은 chapter-4 커널로 실행했다. 첫 셀은 데이터를 읽고 실험 income-classifier를 고르며, 둘째 셀이 run 두 개를 만든다. 책 셀과 다른 곳은 position을 바꿔 가며 두 번 돈다는 것과, 어느 쪽인지 알 수 있게 position을 파라미터로 기록한다는 것뿐이다.

4장에서 실험과 모델은 MLflow로, 피처는 Feast로 관리하게 됐다. 하지만 둘을 이어 붙이는 일은 여전히 사람 몫이다. 5장에서는 이 연결을 Kubeflow Pipelines(KFP)로 자동화해, 데이터를 읽는 단계부터 추론 결과를 저장하는 단계까지 한 번에 도는 배치 추론 파이프라인을 만든다.

예제 코드는 practical-mlops/chapter-5에 있다.

책 4.1절(실험 추적과 모델 레지스트리) 노트북을 홈랩 MLflow에서 돌린 기록이다. 실습 환경(MLflow, Postgres, RustFS, JupyterLab)을 Kubernetes에 올린 과정은 앞 글에 있다.

책은 로컬 mlflow ui와 Kubeflow에 딸린 MinIO를 쓰지만 여기서는 Kubernetes 위의 MLflow, Postgres, RustFS를 썼다. RustFS는 홈랩에서 이미 쓰고 있어서 골랐고 다른 이유는 없다.

1. 한눈에 보기

아래는 이번 절에서 실습할 파이프라인이다. 초록 칸은 Jupyter 노트북 셀로 직접 실행한 단계이고, 주황 칸은 노트북이 만든 결과를 MLflow에 기록하고 등록한 곳이다.

Machine Learning Platform Engineering 4장은 MLflow로 실험과 모델을 추적하고 Feast로 피처를 관리하며, 5장은 둘을 Kubeflow Pipelines로 이어 배치 추론 파이프라인을 만든다. 2주차 실습은 1주차에 설치한 홈랩 Kubernetes 클러스터 위에서 그대로 진행한다. 이번에는 Kubernetes 클러스터에 MLflow, Feast, Kubeflow Pipelines를 올린다.

1. 전체 구성