데이터를 걷는 선비

[순서] 1. Hive란? 2. Hive의 구성요소 3. Hive의 등장 배경 4. Hive 버전 별 특징 5. Hive 테이블의 문제점 1. Hive란? 하이브는 하둡 에코시스템 중에서 데이터를 모델링하고 프로세싱하는 경우 가장 많이 사용하는 데이터 웨어하우징용 솔루션입니다. RDB의 데이터베이스, 테이블과 같은 형태로 HDFS에 저장된 데이터의 구조를 정의하는 방법을 제공하며, 이 데이터를 대상으로 SQL과 유사한 HiveQL 쿼리를 이용하여 데이터를 조회하는 방법을 제공합니다. *가장 큰 특징으로는 메타스토어라는 것이 존재하는데, 하이브는 기존의 RDB와는 다르게 미리 스키마를 정의하고 그 틀에 맞게 데이터를 입력하는 것이 아닌, 데이터를 저장하고 거기에 스키마를 입히는(메타스토어에 입력하는) 것이..

[순서] 0) Spark 구조 및 용어 1) Spark Local mode VS Spark Deploy mode 2) Local Mode 3) Deploy Mode 중 Client Mode 4) Deploy Mode 중 Cluster Mode 5) Cluster Manager Standalone YARN Mesos Kubernetes https://semizero.tistory.com/56 [Spark] Spark Local mode와 Deploy Mode(local이랑 standalone 차이!!) [순서] 0) Spark 구조 및 용어 설명 1) Spark Local mode VS Spark Deploy mode 2) Local Mode 3) Deploy Mode 4) Deploy Mode 중 Cli..

[순서] 0) Spark 구조 및 용어 설명 1) Spark Local mode VS Spark Deploy mode 2) Local Mode 3) Deploy Mode 4) Deploy Mode 중 Client Mode 5) Deploy Mode 중 Cluster Mode 6) Cluster Manager 0. Spark 구조 및 용어 설명 Spark는 하나의 중앙 조정자(master, Driver)와 하나 또는 여러 개의 분산 작업 노드(slave, Executor)로 이루어져있으며, Driver와 Executor를 합쳐서 Spark application이라고 부릅니다. 분산 모드에서는, 하나의 Spark application은 Cluster Manager라고 불리는 외부 서비스를 통해 여러 개의 머..