데이터를 걷는 선비

새해 들어 직접 내 컴퓨터에 여러 학습 환경을 구축하고 싶었지만, 호옥시나 가까운 시일 내에 결혼을 할 수도 있어 구매를 고민하던 와중 고민을 들으시던 회사 매니저님의 한 마디 "결혼하면 못산다" 들은 자리에서 바로 구매 결정!! GPU 데스크탑 구입 "현재 목표" Hyper-V 가상환경을 통해 쿠버네티스 환경 구축 마스터 노드 1대, 워커 노드 2대 Hyper-V 가상환경을 통해 하둡 에코시스템 환경 구축 네임노드 1대, 데이터 노드 2대 GPU로 Pytorch 학습 및 추론 GPU로 Tensorflow 학습 및 추론 1-2-3-4번 하는 과정을 블로그로 기록 데스크탑 스펙 CPU : 인텔코어 i7-12세대 메모리 : 32GB 그래픽카드 : RTX 3060 12GB (나머지는 뭔지 잘 모른다) 아무튼 ..

https://semizero.tistory.com/51 [Kubeflow] Kubeflow 내장 Minio 활용하기 https://semizero.tistory.com/42 [Kubeflow] 쿠브플로 아키텍처(Kubeflow Architecture) 개요 [순서] 1) Kubeflow 아키텍처 개요 2) Kubeflow Job을 실행하는 방식 3) 머신러닝 메타데이터 서비스 4) 아티팩트 스토리지 5) 주 semizero.tistory.com Kubeflow 내장 Minio를 활용하기 위해 9000 포트로 서비스에 접근하려했으나, 해당 주소가 이미 사용 중이라는 알림 문구를 받았다. 원인을 찾아보니 minikube에 trino를 설치하면서 포트를 9000번으로 등록했으며, 재부팅 후 minikube를..

본 포스팅은 "파이썬 코딩의 기술(브렛 슬라킨 외 저)"를 보고 작성했습니다. 파이썬 주니어들이 시니어로 발돋움하기 위한 최고의 책이라고 생각되네요!! https://www.gilbut.co.kr/book/view?bookcode=BN002890 Effective Python 2nd 이펙티브 파이썬 : 파이썬 코딩의 기술 똑똑하게 코딩하는 법, 개정판 www.gilbut.co.kr 파이썬 함수에는 프로그래머가 더 편하게 프로그래밍할 수 있도록 해주는 여러가지 추가 기능이 들어있다. 이런 추가 기능을 사용ㅎ면 함수의 목적을 더 분명하게 표현할 수 있고, 코드의 잡음을 줄여서 함수 호출의 의도를 더 명확히 드러낼 수 있으며, 찾기 어려운 미묘한 버그를 현저히 줄일 수 있다. BETTER WAY 5 "키워드 ..

[순서] 1) ELK 아키텍처 개괄 2) Fluentd 설치 3) Log Generator로 로그 생성 4) Opensearch 설치 5) Fluentd로 로그파일 읽어서 보내기

[순서] 1) ELK 아키텍처 개괄 2) Fluentd 설치 3) Log Generator로 로그 생성 4) Opensearch 설치 Docker 설치는 공식문서 참조!! (공식문서가 제일 깔끔한 것 같습니다.) - WSL은 amd 기반의 cpu를 기준으로 함(arm은 꼭 공식 문서 및 별도 자료 참조!!) https://docs.docker.com/engine/install/ubuntu/ Install Docker Engine on Ubuntu docs.docker.com - ELK 스택에 대한 개념과 ELK가 아닌 Fluentd, Opensearch, Opensearch Dashboard로 실습하는 이유는 이전 포스트를 참고해주시면 감사하겠습니다!! https://semizero.tistory.com..

로컬에서 개인적인 개발을 진행할 경우에는 로그의 중요성을 체감하기 어렵다. 어차피 내가 진행한 작업환경이고 에러가 날 경우 시스템의 히스토리를 알기에 일일이 찾아서 수정하면 되기 때문이다. 그러나 회사 시스템 환경에서는 일일이 그럴 수 없기에 로그를 남기는 것이 필수적이고 시스템에 장애가 나면 로그를 빨리 분석해야 하기에 로그 수집을 위한 아키텍처 설계 작업이 매우 중요하다. [로그란??] Log 란, 컴퓨터가 수행하는 도중 유의미한 내용을 남기는 기록을 말한다. 통상 파일로 남기는 기록을 말한다. 로그의 내용 로그에는 통상 다음 내용이 들어가야 한다. 로그를 남긴 시간 로그 레벨 (심각성의 정도) FATAL > ERROR > WARN > DEBUG > TRACE 로그 내용 로그가 발생한 위치 로그를 남..

나른한 오후.... 회사 컴퓨터에서 갑자기 디스크가 부족하다는 알람이 왔다. 알고보니 윈도우에서 사용하던 WSL2의 용량이 엄청나게 늘어난 것 때문이었다. (회사 컴퓨터에서는 윈도우를 사용하기에, 리눅스를 사용하기 위해 wsl을 활용해왔다.) 근데...그럼 다른 분들은 어떻게 WSL2을 쓰고 있을까...?? 여쭤보기 민망해 직접 찾아보며 삽질한 것을 기록해봤다. 1. WSL 디스크 파일 찾아 압축하기 => 근본적 해결 불가!! https://learn.microsoft.com/ko-kr/windows/wsl/disk-space WSL 디스크 공간을 관리하는 방법 사용 가능한 디스크 공간의 양을 확인하고, VHD(가상 하드 디스크)의 크기를 확장하고, VHD 탑재 또는 읽기 전용 오류를 복구하고, WSL ..

급하게 회사 프로젝트에서 프론트를 알아야되는 일이 있어서 Front-end를 공부하고 있다. 평소에 html, css, javascript 과 같은 프런트엔드문법을 글로만 배워서 각 컴포넌트들이 유기적으로 어떻게 작동하는지 몰랐는데, 프로젝트하며 또 클론코딩하며 빠르게 배울 수 있어서 매우 만족 중!! 해당 포스트는 다음 강의를 보고 정리한 내용입니다. https://www.inflearn.com/course/%ED%8A%B8%EC%9C%84%ED%84%B0-%ED%81%B4%EB%A1%A0%EB%A7%8C%EB%93%A4%EA%B8%B0 vue.js 실전 프로젝트(트위터 클론) - 인프런 | 강의 vue.js + firebase + tailwindcss 를 통해 실전 프로젝트를 만들어보세요. 이 강의를..