Machine Learning Platform Engineering 파트 3은 1 ~ 6장에서 갖춘 플랫폼을 실제 프로젝트에 적용한다. 캡스톤 프로젝트는 세 개이고, 7장은 그중 신분증 객체 탐지기와 영화 추천 시스템의 첫 단계인 데이터 분석과 준비를 다룬다. 여기선 7.1절 Kubeflow 노트북과 7.2절 KFP 데이터 전달을 정리하고, 1 ~ 6장에서 구축한 환경에서 돌린 결과를 정리한다.

1. 한눈에 보기

MLOps 파이프라인 그림에서 7장은 데이터 수집·준비 자리다. 7.1절은 그 단계를 사람이 노트북으로 탐색하는 방법이고, 7.2절은 같은 단계를 KFP 컴포넌트로 나눴을 때 컴포넌트 사이로 데이터를 넘기는 방법이다.

4장에서 실험과 모델은 MLflow로, 피처는 Feast로 관리하게 됐다. 하지만 둘을 이어 붙이는 일은 여전히 사람 몫이다. 5장에서는 이 연결을 Kubeflow Pipelines(KFP)로 자동화해, 데이터를 읽는 단계부터 추론 결과를 저장하는 단계까지 한 번에 도는 배치 추론 파이프라인을 만든다.

예제 코드는 practical-mlops/chapter-5에 있다.

Machine Learning Platform Engineering 1장을 읽고 정리한 글이다.

1. ML 프로젝트가 소프트웨어 프로젝트와 다른점

소프트웨어 프로젝트는 안정성을 우선하며 배포한 것이 그대로 돌기를 기대한다.

ML 프로젝트는 맞는 접근을 미리 알 수 없어서 시행착오의 연속이고 단계 사이 흐름이 비선형적이다. 학습을 돌려본 뒤 데이터 준비로 되돌아가는 일이 흔하다.

2. 두가지 국면

같은 단계 이름이 양쪽에 다 나온다는 데서 이 구분이 중요해진다. 데이터 버전 관리, 모델 학습, 평가, 검증이 양쪽 모두에 있다.