데이터를 걷는 선비

새해 들어 직접 내 컴퓨터에 여러 학습 환경을 구축하고 싶었지만, 호옥시나 가까운 시일 내에 결혼을 할 수도 있어 구매를 고민하던 와중 고민을 들으시던 회사 매니저님의 한 마디 "결혼하면 못산다" 들은 자리에서 바로 구매 결정!! GPU 데스크탑 구입 "현재 목표" Hyper-V 가상환경을 통해 쿠버네티스 환경 구축 마스터 노드 1대, 워커 노드 2대 Hyper-V 가상환경을 통해 하둡 에코시스템 환경 구축 네임노드 1대, 데이터 노드 2대 GPU로 Pytorch 학습 및 추론 GPU로 Tensorflow 학습 및 추론 1-2-3-4번 하는 과정을 블로그로 기록 데스크탑 스펙 CPU : 인텔코어 i7-12세대 메모리 : 32GB 그래픽카드 : RTX 3060 12GB (나머지는 뭔지 잘 모른다) 아무튼 ..

https://semizero.tistory.com/51 [Kubeflow] Kubeflow 내장 Minio 활용하기 https://semizero.tistory.com/42 [Kubeflow] 쿠브플로 아키텍처(Kubeflow Architecture) 개요 [순서] 1) Kubeflow 아키텍처 개요 2) Kubeflow Job을 실행하는 방식 3) 머신러닝 메타데이터 서비스 4) 아티팩트 스토리지 5) 주 semizero.tistory.com Kubeflow 내장 Minio를 활용하기 위해 9000 포트로 서비스에 접근하려했으나, 해당 주소가 이미 사용 중이라는 알림 문구를 받았다. 원인을 찾아보니 minikube에 trino를 설치하면서 포트를 9000번으로 등록했으며, 재부팅 후 minikube를..

본 포스팅은 "파이썬 코딩의 기술(브렛 슬라킨 외 저)"를 보고 작성했습니다. 파이썬 주니어들이 시니어로 발돋움하기 위한 최고의 책이라고 생각되네요!! https://www.gilbut.co.kr/book/view?bookcode=BN002890 Effective Python 2nd 이펙티브 파이썬 : 파이썬 코딩의 기술 똑똑하게 코딩하는 법, 개정판 www.gilbut.co.kr 파이썬 함수에는 프로그래머가 더 편하게 프로그래밍할 수 있도록 해주는 여러가지 추가 기능이 들어있다. 이런 추가 기능을 사용ㅎ면 함수의 목적을 더 분명하게 표현할 수 있고, 코드의 잡음을 줄여서 함수 호출의 의도를 더 명확히 드러낼 수 있으며, 찾기 어려운 미묘한 버그를 현저히 줄일 수 있다. BETTER WAY 5 "키워드 ..

나른한 오후....회사 컴퓨터에서 갑자기 디스크가 부족하다는 알람이 왔다.알고보니 윈도우에서 사용하던 WSL2의 용량이 엄청나게 늘어난 것 때문이었다.(회사 컴퓨터에서는 윈도우를 사용하기에, 리눅스를 사용하기 위해 wsl을 활용해왔다.)근데...그럼 다른 분들은 어떻게 WSL2을 쓰고 있을까...??여쭤보기 민망해 직접 찾아보며 삽질한 것을 기록해봤다.1. WSL 디스크 파일 찾아 압축하기 => 근본적 해결 불가!!https://learn.microsoft.com/ko-kr/windows/wsl/disk-space WSL 디스크 공간을 관리하는 방법사용 가능한 디스크 공간의 양을 확인하고, VHD(가상 하드 디스크)의 크기를 확장하고, VHD 탑재 또는 읽기 전용 오류를 복구하고, WSL 2와 함께 설치..

[echo] 터미널 콘솔에 텍스트를 출력한다. echo $(command)로 다른 명령어의 결과를 확인할 수 있다. 파이프와 함께 여러 용도로 사용 echo와 redirection 연결해서 사용 redirection?? [redirection] 출력 결과를 파일로 저장 > : 기존의 파일 내용을 지우고 저장 >> : 기존 파일 내용 뒤에 저장 stderror를 지정된 파일에 저장 2>&1 또는 &> stderror를 stdout에 포함시켜서 저장 > /dev/null [clear] 터미널의 기존 내용을 지운다. [history] 지나간 터미널 명령어 기록을 보여준다. 로그아웃하거나 세션을 종료하면 다시 볼 수 없다.

[리눅스에서 경로 기본] / : root. 시스템의 가상 시작 ~ : home/사용자 계정: 로그인한 유저의 home 경로, 환경변수로 바꿀 수 있음 / : 디렉토리 구분자 .. : 상위 디렉토리 . : 현재 디렉토리 리눅스를 처음 접할 때 윈도우에 비해 가지런히 정렬된 것처럼 느껴지는 파일 구조를 통해 명령어로 조작을 할 수 있는 점이 신기했다. 다만, 꽤 오랜 기간 동안 root의 경로와 home의 경로를 같다고 인지하고 있었는데, 이는 완전히 잘못된 인지였다. root의 경로와 home의 경로는 아래 트리와 같이 명백히 다르다. " cd ../ "(상위 디렉토리로 이동) 명령어를 통해 ~로 표시된 경로가 /home/semizero(사용자계정)임을 알 수 있다. [pwd] Print Work Dire..

본 포스팅은 "파이썬 코딩의 기술(브렛 슬라킨 외 저)"를 보고 작성했습니다. 파이썬 주니어들이 시니어로 발돋움하기 위한 최고의 책이라고 생각되네요!! https://www.gilbut.co.kr/book/view?bookcode=BN002890 Effective Python 2nd 이펙티브 파이썬 : 파이썬 코딩의 기술 똑똑하게 코딩하는 법, 개정판 www.gilbut.co.kr 파이썬 함수에는 프로그래머가 더 편하게 프로그래밍할 수 있도록 해주는 여러가지 추가 기능이 들어있다. 이런 추가 기능을 사용하면 함수의 목적을 더 분명하게 표현할 수 있고, 코드의 잡음을 줄여서 함수 호출의 의도를 더 명확히 드러낼 수 있으며, 찾기 어려운 미묘한 버그를 현저히 줄일 수 있다. BETTER WAY 1 "함수가 ..

본 포스팅은 "파이썬 코딩의 기술(브렛 슬라킨 외 저)"를 보고 작성했습니다. 파이썬 주니어들이 시니어로 발돋움하기 위한 최고의 책이라고 생각되네요!! https://www.gilbut.co.kr/book/view?bookcode=BN002890 Effective Python 2nd 이펙티브 파이썬 : 파이썬 코딩의 기술 똑똑하게 코딩하는 법, 개정판 www.gilbut.co.kr 파이썬은 리스트와 딕셔너리를 다룰 때 가독성을 좋게 하고 기능을 확장해주는 특별한 구문과 내장 모듈을 제공 다른 언어가 제공하는 단순 배열, 벡터, 해시 테이블 타입보다 훨씬 더 편리하게 딕셔너리와 해시 테이블을 사용할 수 있다!! BETTER WAY 1 "시퀀스를 슬라이싱하는 방법을 익혀라" 슬라이싱할 때는 간결하게 # 시각..