데이터를 걷는 선비

로컬에서 개인적인 개발을 진행할 경우에는 로그의 중요성을 체감하기 어렵다. 어차피 내가 진행한 작업환경이고 에러가 날 경우 시스템의 히스토리를 알기에 일일이 찾아서 수정하면 되기 때문이다. 그러나 회사 시스템 환경에서는 일일이 그럴 수 없기에 로그를 남기는 것이 필수적이고 시스템에 장애가 나면 로그를 빨리 분석해야 하기에 로그 수집을 위한 아키텍처 설계 작업이 매우 중요하다. [로그란??] Log 란, 컴퓨터가 수행하는 도중 유의미한 내용을 남기는 기록을 말한다. 통상 파일로 남기는 기록을 말한다. 로그의 내용 로그에는 통상 다음 내용이 들어가야 한다. 로그를 남긴 시간 로그 레벨 (심각성의 정도) FATAL > ERROR > WARN > DEBUG > TRACE 로그 내용 로그가 발생한 위치 로그를 남..

[순서] 1) WSL 2 설치하기 2) Docker 설치하기 3) minikube 설치하기 4) Kubeflow 설치할 버전 확인하고 종속된 버전들 확인하기 5) Kustomize 설치하기 6) Kubectl 설치하기 7) Kubeflow manifests 내려받기 8) Kustomize로 manifests apply 9) [선택] Minikube 외부통신을 위한 인증서 설치하기 10) Kubeflow 대시보드 확인하기 [Prerequisite] - Kubeflow 설치를 위한 조건 및 가정 - WSL2, Docker는 설치되어 있다고 가정 => Docker 설치는 공식문서 참조!! (공식문서가 제일 깔끔한 것 같습니다.) - WSL은 amd 기반의 cpu를 기준으로 함(arm은 꼭 공식 문서 및 별도 ..

나른한 오후.... 회사 컴퓨터에서 갑자기 디스크가 부족하다는 알람이 왔다. 알고보니 윈도우에서 사용하던 WSL2의 용량이 엄청나게 늘어난 것 때문이었다. (회사 컴퓨터에서는 윈도우를 사용하기에, 리눅스를 사용하기 위해 wsl을 활용해왔다.) 근데...그럼 다른 분들은 어떻게 WSL2을 쓰고 있을까...?? 여쭤보기 민망해 직접 찾아보며 삽질한 것을 기록해봤다. 1. WSL 디스크 파일 찾아 압축하기 => 근본적 해결 불가!! https://learn.microsoft.com/ko-kr/windows/wsl/disk-space WSL 디스크 공간을 관리하는 방법 사용 가능한 디스크 공간의 양을 확인하고, VHD(가상 하드 디스크)의 크기를 확장하고, VHD 탑재 또는 읽기 전용 오류를 복구하고, WSL ..

https://cloud.google.com/vertex-ai/docs/start/introduction-unified-platform?hl=ko Vertex AI 소개 | Google Cloud 의견 보내기 Vertex AI 소개 컬렉션을 사용해 정리하기 내 환경설정을 기준으로 콘텐츠를 저장하고 분류하세요. Vertex AI는 ML 모델과 AI 애플리케이션을 학습 및 배포하고 AI 기반 애플리케이션에서 cloud.google.com 글로벌 퍼블릭 클라우드 社 중 GCP의 Vertex AI 툴은 구글의 Kubeflow 철학 위에 구축된 서비스이기에, 플랫폼 Kubeflow를 활용해 MLOps 관련 서비스를 구축하고자 한다면, Kubeflow 를 도입한 (것으로 추정되는) Vertex AI 의 MLOps ..

[Kubeflow란??] Kubeflow 는 구글 등에서 내부적으로 리소스 오케스트레이션 툴인 쿠버네티스 환경에서의 머신러닝을 구현하기 위해 시작한 오픈 소스 프로젝트이다. 쿠버네티스가 기업 플랫폼 관리 시스템으로 부상함에 따라 비슷한 방식으로 머신러닝 워크로드를 관리하는 것이 타당하다는 생태계의 분위기 쿠버네티스 생태계에서 사용되던 오픈 소스들을 묶어 통합적인 환경 제시 완전한 머신러닝 워크플로우 경험을 지원하도록 많은 애플리케이션과 프레임워크를 지원하며 다른 퍼블릭 클라우드(GCP 등)과 연계 용이 회사에서 쿠버네티스 클라우드 플랫폼 환경에서 MLOps 서비스를 구축해야 하는 업무를 맡아 자료조사를 해보았을 때, 현재 수준에서 클라우드 플랫폼 구축 방향성에 적합하며 안정적인 성능과 운영을 보장하는 것..

MLOps를 공부하기 위해서는 우선 머신러닝 워크플로의 개념과 그 필요성을 짚고 넘어갈 필요가 있다. 머신러닝을 프로덕트 단에서 활용하기 위해서는 단순히 모델을 학습하고, 파라미터를 튜닝하는 것을 넘어서 지속적으로 학습하고 관리하는 것들이 중요하나, 아직도 많은 프로젝트에서는 모델 학습 이외의 대부분의 작업들을 수기로 하고 있는 실정이다. [파이프라인(Pipeline) 툴] 파이프라인이란 하나의 태스크 결과가 다음 태스크로 이어지는 연결구조를 말하며, 연결 구조 각각의 단계가 독립적이며 병렬로 수행도 가능하기에 수동으로 작업하는 것보다 훨씬 효율적으로 관리 가능하다. Airflow(오픈소스)과 같은 기존 파이프라인 툴은 덱(DAG), 트리(Tree), 간트(Gantt), 그래프(Graph) 등 다양한 컴..

[Docker Image] Docker image! 어떤 애플리케이션에 대해서, 단순히 애플리케이션 코드 뿐만 아니라, 그 애플리케이션과 dependent한 모든 것을 함께 패키징한 데이터 Dockerfile 사용자가 도커 이미지를 쉽게 만들 수 있도록 제공하는 템플릿 [Dockerfile] Dockerfile 만들기 docker-practice라는 폴더에 Dockerfile이라는 이름으로 빈 파일을 하나 만듭니다. FROM Dockerfile이 base image로 어떠한 이미지를 사용할 것인지를 명시하는 명령어 FROM [:] [AS ] # 예시 FROM ubuntu FROM ubuntu:18.04 FROM nginx:latest AS ngx COPY 의 파일 혹은 디렉토리를 경로에 복사하는 명령어 ..

[Docker 설치] 공식 문서에서 참고 https://docs.docker.com/engine/install/ubuntu/ Install Docker Engine on Ubuntu docs.docker.com 설치 환경 Virtual Box 6 ~ Ubuntu 20.04.3 LTS 메모리 8GB 하드디스크 10GB 하드디스크 파일 종류 VDI 1. Set up the repository 먼저 apt라는 패키지 매니저를 업데이트 $ sudo apt-get update Docker의 prerequisite package 설치 $ sudo apt-get install \ apt-transport-https \ ca-certificates \ curl \ gnupg \ lsb-release Docker의 ke..