데이터를 걷는 선비

[순서] 0) Kubeflow 설치하기 1) Kubeflow Pipeline 관련 UI 살펴보기 2) Pipeline 구성요소 3) 파이프라인 SDK 4) 파이프라인 만들어보기 https://semizero.tistory.com/50 [Kubeflow] Kubeflow Pipeline 파이프라인 개념 정리 [순서] 0) Kubeflow 설치하기 1) Kubeflow Pipeline 관련 UI 살펴보기 2) Pipeline 구성요소 3) 파이프라인 SDK 4) 파이프라인 만들어보기 https://semizero.tistory.com/36 [Kubeflow] Minikube로 Kubeflow(v1.7) 설치하기 [순서] 1) semizero.tistory.com 4) 파이프라인 만들어 보기 이제 첫 파이프라..

https://semizero.tistory.com/42 [Kubeflow] 쿠브플로 아키텍처(Kubeflow Architecture) 개요 [순서] 1) Kubeflow 아키텍처 개요 2) Kubeflow Job을 실행하는 방식 3) 머신러닝 메타데이터 서비스 4) 아티팩트 스토리지 5) 주피터 노트북 아키텍처 6) 파이프라인 아키텍처 1) Kubeflow 아키텍처 개요 - 위 semizero.tistory.com 쿠버플로 머신러닝을 구축하다 보면, 갑자기 드는 의문이 있을 것이다. 실습에 사용할 데이터를 어떻게 불러오지....? 아무래도 주피터 노트북에서 파일 경로를 통해 데이터를 주로 읽어왔고, 데이터베이스 커넥션이나 오브젝트 스토리지를 통해 데이터를 읽어오는 것이 어색한 데이터 사이언티스트들에게는..

[순서] 0) Kubeflow 설치하기 1) Kubeflow Pipeline 관련 UI 살펴보기 2) Pipeline 구성요소 3) 파이프라인 SDK 4) 파이프라인 만들어보기 https://semizero.tistory.com/36 [Kubeflow] Minikube로 Kubeflow(v1.7) 설치하기 [순서] 1) WSL 2 설치하기 2) Docker 설치하기 3) minikube 설치하기 4) Kubeflow 설치할 버전 확인하고 종속된 버전들 확인하기 5) Kustomize 설치하기 6) Kubectl 설치하기 7) Kubeflow manifests 내려받기 8) Kustomize로 m semizero.tistory.com 이전 게시물을 통해 Kubeflow를 설치할 수 있습니다. 1) Kube..

Kubeflow를 활용하다보면 user@example.com/12341234 라는 샘플 계정을 활용하여, 테스트하는 경우가 많다. 그러나 서비스 관점에서는 사용자별 Kubeflow 기능을 분기하여 관리해야할 필요가 있다. 그렇기에 간단하게 Kubeflow의 유저를 추가하는 방법을 알아보자 [순서] 1) profile.yaml을 활용해 유저 프로필 생성하기 참조) 프로필 생성 시 spec 하위에 resourceQuotaSpec 추가하기 2) config-map.yaml을 활용해 유저 등록 3) 적용 후 확인 1) profile.yaml을 활용해 유저 프로필 생성하기 kubeflow > manifests > common > dex > base 경로에 아래와 같은 yaml 파일 생성 apiVersion: ku..

[순서] 1) Kubeflow 아키텍처 개요 2) Kubeflow Job을 실행하는 방식 3) 머신러닝 메타데이터 서비스 4) 아티팩트 스토리지 5) 주피터 노트북 아키텍처 6) 파이프라인 아키텍처 1) Kubeflow 아키텍처 개요 - 위 다이어그램은 쿠브플로의 상위 단계 아키텍처를 나타낸다. - 쿠브플로 시스템의 시작은 1. CLI를 통한 요청 / 2. kubectl을 통한 요청으로 나뉘며 - 이러한 요청을 통해 쿠버플로 잡(Job) 이 생성된다. - 쿠브플로 잡은 주피터 노트북과 같은 Kubeflow Notebook일 수 있으며 - 파이프라인(Kubeflow Pipeline)으로 연결된 파이썬 스크립트일 수 있다. 아래 아키텍처를 상세히 보며 쿠브플로와 쿠버네티스가 어떻게 작동하는지 알아보자!! 2..

[순서] 1) WSL 2 설치하기 2) Docker 설치하기 3) minikube 설치하기 4) Kubeflow 설치할 버전 확인하고 종속된 버전들 확인하기 5) Kustomize 설치하기 6) Kubectl 설치하기 7) Kubeflow manifests 내려받기 8) Kustomize로 manifests apply 9) [선택] Minikube 외부통신을 위한 인증서 설치하기 10) Kubeflow 대시보드 확인하기 [Prerequisite] - Kubeflow 설치를 위한 조건 및 가정 - WSL2, Docker는 설치되어 있다고 가정 => Docker 설치는 공식문서 참조!! (공식문서가 제일 깔끔한 것 같습니다.) - WSL은 amd 기반의 cpu를 기준으로 함(arm은 꼭 공식 문서 및 별도 ..

https://cloud.google.com/vertex-ai/docs/start/introduction-unified-platform?hl=ko Vertex AI 소개 | Google Cloud 의견 보내기 Vertex AI 소개 컬렉션을 사용해 정리하기 내 환경설정을 기준으로 콘텐츠를 저장하고 분류하세요. Vertex AI는 ML 모델과 AI 애플리케이션을 학습 및 배포하고 AI 기반 애플리케이션에서 cloud.google.com 글로벌 퍼블릭 클라우드 社 중 GCP의 Vertex AI 툴은 구글의 Kubeflow 철학 위에 구축된 서비스이기에, 플랫폼 Kubeflow를 활용해 MLOps 관련 서비스를 구축하고자 한다면, Kubeflow 를 도입한 (것으로 추정되는) Vertex AI 의 MLOps ..

[Kubeflow란??] Kubeflow 는 구글 등에서 내부적으로 리소스 오케스트레이션 툴인 쿠버네티스 환경에서의 머신러닝을 구현하기 위해 시작한 오픈 소스 프로젝트이다. 쿠버네티스가 기업 플랫폼 관리 시스템으로 부상함에 따라 비슷한 방식으로 머신러닝 워크로드를 관리하는 것이 타당하다는 생태계의 분위기 쿠버네티스 생태계에서 사용되던 오픈 소스들을 묶어 통합적인 환경 제시 완전한 머신러닝 워크플로우 경험을 지원하도록 많은 애플리케이션과 프레임워크를 지원하며 다른 퍼블릭 클라우드(GCP 등)과 연계 용이 회사에서 쿠버네티스 클라우드 플랫폼 환경에서 MLOps 서비스를 구축해야 하는 업무를 맡아 자료조사를 해보았을 때, 현재 수준에서 클라우드 플랫폼 구축 방향성에 적합하며 안정적인 성능과 운영을 보장하는 것..