데이터를 걷는 선비

Kubeflow를 활용하다보면 user@example.com/12341234 라는 샘플 계정을 활용하여, 테스트하는 경우가 많다. 그러나 서비스 관점에서는 사용자별 Kubeflow 기능을 분기하여 관리해야할 필요가 있다. 그렇기에 간단하게 Kubeflow의 유저를 추가하는 방법을 알아보자 [순서] 1) profile.yaml을 활용해 유저 프로필 생성하기 참조) 프로필 생성 시 spec 하위에 resourceQuotaSpec 추가하기 2) config-map.yaml을 활용해 유저 등록 3) 적용 후 확인 1) profile.yaml을 활용해 유저 프로필 생성하기 kubeflow > manifests > common > dex > base 경로에 아래와 같은 yaml 파일 생성 apiVersion: ku..

MLOps를 공부하기 위해서는 우선 머신러닝 워크플로의 개념과 그 필요성을 짚고 넘어갈 필요가 있다. 머신러닝을 프로덕트 단에서 활용하기 위해서는 단순히 모델을 학습하고, 파라미터를 튜닝하는 것을 넘어서 지속적으로 학습하고 관리하는 것들이 중요하나, 아직도 많은 프로젝트에서는 모델 학습 이외의 대부분의 작업들을 수기로 하고 있는 실정이다. [파이프라인(Pipeline) 툴] 파이프라인이란 하나의 태스크 결과가 다음 태스크로 이어지는 연결구조를 말하며, 연결 구조 각각의 단계가 독립적이며 병렬로 수행도 가능하기에 수동으로 작업하는 것보다 훨씬 효율적으로 관리 가능하다. Airflow(오픈소스)과 같은 기존 파이프라인 툴은 덱(DAG), 트리(Tree), 간트(Gantt), 그래프(Graph) 등 다양한 컴..