데이터를 걷는 선비

https://semizero.tistory.com/36 [Kubeflow] Minikube로 Kubeflow(v1.7) 설치하기 [순서] 1) WSL 2 설치하기 2) Docker 설치하기 3) minikube 설치하기 4) Kubeflow 설치할 버전 확인하고 종속된 버전들 확인하기 5) Kustomize 설치하기 6) Kubectl 설치하기 7) Kubeflow manifests 내려받기 8) Kustomize로 m semizero.tistory.com 지난 포스트에서 minikube로 Local 에서 Kubeflow를 설치하는 방법을 알아보았다. 그렇지만 로컬 환경의 경우, 컴퓨터를 재부팅하면 minikube 역시 중단이 되기에, 다시 minikube를 켜고 Kubeflow 를 가동하는데 많은 시..

[순서] 0) Kubeflow 설치하기 1) Kubeflow Pipeline 관련 UI 살펴보기 2) Pipeline 구성요소 3) 파이프라인 SDK 4) 파이프라인 만들어보기 https://semizero.tistory.com/50 [Kubeflow] Kubeflow Pipeline 파이프라인 개념 정리 [순서] 0) Kubeflow 설치하기 1) Kubeflow Pipeline 관련 UI 살펴보기 2) Pipeline 구성요소 3) 파이프라인 SDK 4) 파이프라인 만들어보기 https://semizero.tistory.com/36 [Kubeflow] Minikube로 Kubeflow(v1.7) 설치하기 [순서] 1) semizero.tistory.com 4) 파이프라인 만들어 보기 이제 첫 파이프라..

https://semizero.tistory.com/42 [Kubeflow] 쿠브플로 아키텍처(Kubeflow Architecture) 개요 [순서] 1) Kubeflow 아키텍처 개요 2) Kubeflow Job을 실행하는 방식 3) 머신러닝 메타데이터 서비스 4) 아티팩트 스토리지 5) 주피터 노트북 아키텍처 6) 파이프라인 아키텍처 1) Kubeflow 아키텍처 개요 - 위 semizero.tistory.com 쿠버플로 머신러닝을 구축하다 보면, 갑자기 드는 의문이 있을 것이다. 실습에 사용할 데이터를 어떻게 불러오지....? 아무래도 주피터 노트북에서 파일 경로를 통해 데이터를 주로 읽어왔고, 데이터베이스 커넥션이나 오브젝트 스토리지를 통해 데이터를 읽어오는 것이 어색한 데이터 사이언티스트들에게는..

[순서] 0) Kubeflow 설치하기 1) Kubeflow Pipeline 관련 UI 살펴보기 2) Pipeline 구성요소 3) 파이프라인 SDK 4) 파이프라인 만들어보기 https://semizero.tistory.com/36 [Kubeflow] Minikube로 Kubeflow(v1.7) 설치하기 [순서] 1) WSL 2 설치하기 2) Docker 설치하기 3) minikube 설치하기 4) Kubeflow 설치할 버전 확인하고 종속된 버전들 확인하기 5) Kustomize 설치하기 6) Kubectl 설치하기 7) Kubeflow manifests 내려받기 8) Kustomize로 m semizero.tistory.com 이전 게시물을 통해 Kubeflow를 설치할 수 있습니다. 1) Kube..

Kubeflow를 활용하다보면 user@example.com/12341234 라는 샘플 계정을 활용하여, 테스트하는 경우가 많다. 그러나 서비스 관점에서는 사용자별 Kubeflow 기능을 분기하여 관리해야할 필요가 있다. 그렇기에 간단하게 Kubeflow의 유저를 추가하는 방법을 알아보자 [순서] 1) profile.yaml을 활용해 유저 프로필 생성하기 참조) 프로필 생성 시 spec 하위에 resourceQuotaSpec 추가하기 2) config-map.yaml을 활용해 유저 등록 3) 적용 후 확인 1) profile.yaml을 활용해 유저 프로필 생성하기 kubeflow > manifests > common > dex > base 경로에 아래와 같은 yaml 파일 생성 apiVersion: ku..

[Prometheus 프로메테우스?] https://github.com/prometheus Prometheus Prometheus has 45 repositories available. Follow their code on GitHub. github.com 2012 년 SoundCloud 에서 만든 모니터링 & 알람 프로그램 쿠버네티스에 종속적이지 않고, binary 혹은 docker container 형태로도 사용하고 배포 가능하지만, 쿠버네티스 생태계의 오픈소스 중에서는 사실상의 표준 [특징] 수집하는 Metric 데이터를 다차원의 시계열 데이터 형태로 저장 데이터 분석을 위한 자체 언어 PromQL 지원 시계열 데이터 저장에 적합한 TimeSeries DB 지원 데이터 수집하는 방식이 Pull 방식..

[순서] 1) Kubeflow 아키텍처 개요 2) Kubeflow Job을 실행하는 방식 3) 머신러닝 메타데이터 서비스 4) 아티팩트 스토리지 5) 주피터 노트북 아키텍처 6) 파이프라인 아키텍처 1) Kubeflow 아키텍처 개요 - 위 다이어그램은 쿠브플로의 상위 단계 아키텍처를 나타낸다. - 쿠브플로 시스템의 시작은 1. CLI를 통한 요청 / 2. kubectl을 통한 요청으로 나뉘며 - 이러한 요청을 통해 쿠버플로 잡(Job) 이 생성된다. - 쿠브플로 잡은 주피터 노트북과 같은 Kubeflow Notebook일 수 있으며 - 파이프라인(Kubeflow Pipeline)으로 연결된 파이썬 스크립트일 수 있다. 아래 아키텍처를 상세히 보며 쿠브플로와 쿠버네티스가 어떻게 작동하는지 알아보자!! 2..

https://semizero.tistory.com/39 [CI/CD] Jenkins(젠킨스) 개념 및 설치 방법!! [CI / CD 란 무엇인가?] 1. CI CI는 지속적 통합(Continuous Integration)을 말한다 여기서 통합은 보통 소스 코드의 통합을 의미하며, 여러 명의 많은 개발자들이 코드 베이스를 계속해서 통합하는 것이다. semizero.tistory.com 지난 포스트에서는 Jenkins의 개념과 설치 방법에 대해서 알아보았다. 이번 포스트에서는 Jenkins를 이용해서 커밋만 하 어떻게 빌드 배포를 자동화할 수 있는지 알아보자!! [순서] 1) Jenkins 실습 아키텍처 설명 [Prerequisite] 실습을 하기 위해선 작업 환경과 github를 연동이 된 상태여야 한다..