[Kubeflow] Kubeflow 내장 Minio 활용하기

https://semizero.tistory.com/42

[Kubeflow] 쿠브플로 아키텍처(Kubeflow Architecture) 개요

 

쿠버플로 머신러닝을 구축하다 보면, 갑자기 드는 의문이 있을 것이다.

실습에 사용할 데이터를 어떻게 불러오지....?

아무래도 주피터 노트북에서 파일 경로를 통해 데이터를 주로 읽어왔고,

데이터베이스 커넥션이나 오브젝트 스토리지를 통해 데이터를 읽어오는 것이 어색한 데이터 사이언티스트들에게는 데이터를 저장할 곳을 설정하고, 데이터를 읽는 것부터가 크나큰 미션이 될 수 있다.

 

이 때 활용해 볼 수 있는 것이,

쿠버플로의 내장 Minio(오브젝트 스토리지)로 

 

쿠버플로를 실행하다 보면 minio라는 이름의 pod(파드)가 하나 띄어진 것을 확인할 수 있다.

 

원래 이 minio(스토리지)는 쿠버플로 잡을 실행하며 쌓인 아티팩트를 저장하기 위해 내장된 아티팩트 스토리지로,

여기서 아티팩트는 등을 파이프라인의 패키지, 뷰, 대규모 메트릭을 가리킨다.

 

따로 복잡한 데이터 임포트 경로를 설정할 필요없이 이미 Kubeflow를 실행하면서 구성된,

Minio를 데이터, 학습 모델의 저장소로 활용하면 

쉽게 Kubeflow Pipeline과 친해질 수 있다.

 

아래의 커멘드를 통해 minio 서비스를 로컬에서 호출할 수 있으며

kubectl port-forward -n kubeflow svc/minio-service 9000:9000

#기본 ID: minio
#기본 PW: minio123

 

 

호출이 완료되면, 아래와 같은 UI화면에 접속할 수 있다.

아래의 사진처럼 pipelines, pkl, data 등의 폴더를 직접 만들어 Kubeflow Pipeline의 오브젝트 스토리지로 활용해보자!!