이미지 분류 머신러닝 모델링을 기반으로 한 mlops lv2 아키텍처 : flatfix

About

프로젝트 개요

• 정상, 결함 타이어 이미지를 수집하여 이진분류 머신러닝 모델을 개발하고 이를 기반으로 한 mlops 레벨 2 아키텍처 구현하기.
• 사용자에게 타이어 결함 여부를 알려주는 서비스 구축하기.

프로젝트 규모 및 일정

• 팀원 : 4명
• 기간 : 08.28 ~ 10.11

역할

• 이진 분류 머신러닝 모델 개발 • mlops 자동화 파이프라인 설계 및 구축 • 추론 서버 운영을 위한 백엔드 구축 • 데이터 파이프라인 설계

Architecture

개요

1. 데이터 파이프라인

• 정비소에서 업로드한 이미지를 s3 데이터레이크에 저장
• 에어플로우 dag 및 cdc 프로세스를 통해 카프카로 최신 데이터 폴더 경로 전달, 스파크가 이를 기반으로 어노테이션 파일 생성
• 이미지데이터 관리와 데이터 손실 방지 및 데이터 정합성 확인을 위해 활용

2. MLOps 자동화 파이프라인

• 데이터레이크에 저장된 데이터를 기반으로 이진분류 머신러닝 모델 개발
• 깃헙 액션을 통해 CI / CD 파이프라인 관리

3. 모니터링

• 카프카, 스파크 클러스터 및 모델 서버의 성능을 프로메테우스와 그라파나로 모니터링
• 스파크 워커 다운, 모델 성능 저하 시 슬랙 알림 발송

4. 테스트 및 배포

• Stage 모델과 Production 모델을 따로 관리하며 테스트 서버에 배포해 확인 후 운영 모델로 승격
• 운영 모델의 온라인 메트릭 수집을 통해 실제 모델 성능 모니터링