데이터를 걷는 선비

[순서] 0) Spark 구조 및 용어 1) Spark Local mode VS Spark Deploy mode 2) Local Mode 3) Deploy Mode 중 Client Mode 4) Deploy Mode 중 Cluster Mode 5) Cluster Manager Standalone YARN Mesos Kubernetes https://semizero.tistory.com/56 [Spark] Spark Local mode와 Deploy Mode(local이랑 standalone 차이!!) [순서] 0) Spark 구조 및 용어 설명 1) Spark Local mode VS Spark Deploy mode 2) Local Mode 3) Deploy Mode 4) Deploy Mode 중 Cli..

[순서] 0) Spark 구조 및 용어 설명 1) Spark Local mode VS Spark Deploy mode 2) Local Mode 3) Deploy Mode 4) Deploy Mode 중 Client Mode 5) Deploy Mode 중 Cluster Mode 6) Cluster Manager 0. Spark 구조 및 용어 설명 Spark는 하나의 중앙 조정자(master, Driver)와 하나 또는 여러 개의 분산 작업 노드(slave, Executor)로 이루어져있으며, Driver와 Executor를 합쳐서 Spark application이라고 부릅니다. 분산 모드에서는, 하나의 Spark application은 Cluster Manager라고 불리는 외부 서비스를 통해 여러 개의 머..

본 포스팅은 "데이터 플랫폼 설계와 구축(다닐 즈부리브스키 외 저)"를 보고 작성했습니다. http://acornpub.co.kr/book/cloud-data-platforms#toc 데이터 플랫폼 설계와 구축 다양한 소스에서 데이터를 수집하기 위한 패턴을 찾고, 클라우드 공급업체에서 제공하는 서비스를 활용하는 방법을 배울 수 있다. www.acornpub.co.kr [느슨하게 결합된 아키텍처] 처음 데이터 엔지니어링을 공부하다 보면 문득 드는 의문이 있다. '아니 기능이 왜 다 따로따로야...' '그냥 한 업체가 한 번에 다 만들면 안되나...' PaaS, SaaS, 서버리스, 오픈소스 등 넘쳐나는 엔지니어링 툴과 헷갈리는 기능들을 공부하다 보면 이러한 생각이 드는 것은 당연하다 생각한다. 예를 들어 ..

본 포스팅은 "데이터 플랫폼 설계와 구축(다닐 즈부리브스키 외 저)"를 보고 작성했습니다. http://acornpub.co.kr/book/cloud-data-platforms#toc 데이터 플랫폼 설계와 구축 다양한 소스에서 데이터를 수집하기 위한 패턴을 찾고, 클라우드 공급업체에서 제공하는 서비스를 활용하는 방법을 배울 수 있다. www.acornpub.co.kr '클라우드 데이터 플랫폼 계층 아키텍처 (1/3)' https://semizero.tistory.com/12 [처리 계층(Processing)] 데이터 플랫폼 구현의 핵심은 처리(Processing) 계층이다!! 처리 계층은 비즈니스 로직 적용, 데이터 검증, 데이터 변환이 수행되는 곳이다. [수행 작업] 저속 데이터 스토리지와 고속 데이터..