데이터를 걷는 선비

ETL 프로젝트를 진행하던 도중 Trion 구버전이 Truncate를 지원하지 않아, 최신 버전은 TRUNCATE 기능을 지원하는지 확인해달라는 문의를 받았습니다다. TRUNCATE는 어떠한 기능이며 ETL 시 어떤 상황에서 쓰이는 기능일까요! 우선 각 기능이 무엇인지 알아보겠습니다! 1) DELETE - WHERE절을 사용하여 테이블에 있는 데이터를 하나하나 선택하여 제거하는 방식 - WHERE절을 사용하지않고 테이블의 모든 데이터를 삭제하더라도, 내부적으로는 한줄 한줄 일일히 제거하는 과정을 거칩니다. - 처리속도가 늦고, 퍼포먼스에 좋지않은 영향을 줄 수 있습니다. - 원하는 데이터만 골라서 삭제할 때에는 DELETE 사용 / 전체 데이터 삭제할 때에는 TRUNCATE 사용합니다. - 데이터를 삭제..

[순서] 0) Spark 구조 및 용어 1) Spark Local mode VS Spark Deploy mode 2) Local Mode 3) Deploy Mode 중 Client Mode 4) Deploy Mode 중 Cluster Mode 5) Cluster Manager Standalone YARN Mesos Kubernetes https://semizero.tistory.com/56 [Spark] Spark Local mode와 Deploy Mode(local이랑 standalone 차이!!) [순서] 0) Spark 구조 및 용어 설명 1) Spark Local mode VS Spark Deploy mode 2) Local Mode 3) Deploy Mode 4) Deploy Mode 중 Cli..

[순서] 0) Spark 구조 및 용어 설명 1) Spark Local mode VS Spark Deploy mode 2) Local Mode 3) Deploy Mode 4) Deploy Mode 중 Client Mode 5) Deploy Mode 중 Cluster Mode 6) Cluster Manager 0. Spark 구조 및 용어 설명 Spark는 하나의 중앙 조정자(master, Driver)와 하나 또는 여러 개의 분산 작업 노드(slave, Executor)로 이루어져있으며, Driver와 Executor를 합쳐서 Spark application이라고 부릅니다. 분산 모드에서는, 하나의 Spark application은 Cluster Manager라고 불리는 외부 서비스를 통해 여러 개의 머..

https://semizero.tistory.com/51 [Kubeflow] Kubeflow 내장 Minio 활용하기 https://semizero.tistory.com/42 [Kubeflow] 쿠브플로 아키텍처(Kubeflow Architecture) 개요 [순서] 1) Kubeflow 아키텍처 개요 2) Kubeflow Job을 실행하는 방식 3) 머신러닝 메타데이터 서비스 4) 아티팩트 스토리지 5) 주 semizero.tistory.com Kubeflow 내장 Minio를 활용하기 위해 9000 포트로 서비스에 접근하려했으나, 해당 주소가 이미 사용 중이라는 알림 문구를 받았다. 원인을 찾아보니 minikube에 trino를 설치하면서 포트를 9000번으로 등록했으며, 재부팅 후 minikube를..

본 포스팅은 "파이썬 코딩의 기술(브렛 슬라킨 외 저)"를 보고 작성했습니다. 파이썬 주니어들이 시니어로 발돋움하기 위한 최고의 책이라고 생각되네요!! https://www.gilbut.co.kr/book/view?bookcode=BN002890 Effective Python 2nd 이펙티브 파이썬 : 파이썬 코딩의 기술 똑똑하게 코딩하는 법, 개정판 www.gilbut.co.kr 파이썬 함수에는 프로그래머가 더 편하게 프로그래밍할 수 있도록 해주는 여러가지 추가 기능이 들어있다. 이런 추가 기능을 사용ㅎ면 함수의 목적을 더 분명하게 표현할 수 있고, 코드의 잡음을 줄여서 함수 호출의 의도를 더 명확히 드러낼 수 있으며, 찾기 어려운 미묘한 버그를 현저히 줄일 수 있다. BETTER WAY 5 "키워드 ..

https://semizero.tistory.com/36 [Kubeflow] Minikube로 Kubeflow(v1.7) 설치하기 [순서] 1) WSL 2 설치하기 2) Docker 설치하기 3) minikube 설치하기 4) Kubeflow 설치할 버전 확인하고 종속된 버전들 확인하기 5) Kustomize 설치하기 6) Kubectl 설치하기 7) Kubeflow manifests 내려받기 8) Kustomize로 m semizero.tistory.com 지난 포스트에서 minikube로 Local 에서 Kubeflow를 설치하는 방법을 알아보았다. 그렇지만 로컬 환경의 경우, 컴퓨터를 재부팅하면 minikube 역시 중단이 되기에, 다시 minikube를 켜고 Kubeflow 를 가동하는데 많은 시..

[순서] 0) Kubeflow 설치하기 1) Kubeflow Pipeline 관련 UI 살펴보기 2) Pipeline 구성요소 3) 파이프라인 SDK 4) 파이프라인 만들어보기 https://semizero.tistory.com/50 [Kubeflow] Kubeflow Pipeline 파이프라인 개념 정리 [순서] 0) Kubeflow 설치하기 1) Kubeflow Pipeline 관련 UI 살펴보기 2) Pipeline 구성요소 3) 파이프라인 SDK 4) 파이프라인 만들어보기 https://semizero.tistory.com/36 [Kubeflow] Minikube로 Kubeflow(v1.7) 설치하기 [순서] 1) semizero.tistory.com 4) 파이프라인 만들어 보기 이제 첫 파이프라..

https://semizero.tistory.com/42 [Kubeflow] 쿠브플로 아키텍처(Kubeflow Architecture) 개요 [순서] 1) Kubeflow 아키텍처 개요 2) Kubeflow Job을 실행하는 방식 3) 머신러닝 메타데이터 서비스 4) 아티팩트 스토리지 5) 주피터 노트북 아키텍처 6) 파이프라인 아키텍처 1) Kubeflow 아키텍처 개요 - 위 semizero.tistory.com 쿠버플로 머신러닝을 구축하다 보면, 갑자기 드는 의문이 있을 것이다. 실습에 사용할 데이터를 어떻게 불러오지....? 아무래도 주피터 노트북에서 파일 경로를 통해 데이터를 주로 읽어왔고, 데이터베이스 커넥션이나 오브젝트 스토리지를 통해 데이터를 읽어오는 것이 어색한 데이터 사이언티스트들에게는..