데이터를 걷는 선비

MLOps를 공부하기 위해서는 우선 머신러닝 워크플로의 개념과 그 필요성을 짚고 넘어갈 필요가 있다. 머신러닝을 프로덕트 단에서 활용하기 위해서는 단순히 모델을 학습하고, 파라미터를 튜닝하는 것을 넘어서 지속적으로 학습하고 관리하는 것들이 중요하나, 아직도 많은 프로젝트에서는 모델 학습 이외의 대부분의 작업들을 수기로 하고 있는 실정이다. [파이프라인(Pipeline) 툴] 파이프라인이란 하나의 태스크 결과가 다음 태스크로 이어지는 연결구조를 말하며, 연결 구조 각각의 단계가 독립적이며 병렬로 수행도 가능하기에 수동으로 작업하는 것보다 훨씬 효율적으로 관리 가능하다. Airflow(오픈소스)과 같은 기존 파이프라인 툴은 덱(DAG), 트리(Tree), 간트(Gantt), 그래프(Graph) 등 다양한 컴..