데이터를 걷는 선비

본 포스트는 아래 포스트를 보고 실습을 진행한 포스트입니다. https://spidyweb.tistory.com/302 [HIVE] (Hive 실습)Hadoop ETL with (HiveQL)HQL파일,HQL파일로 hadoop에 job제출하기 이번 포스트에는 standalone(pseudo distributed hadoop cluster)에 HQL파일을 생성하여 job을 제출하는 실습을 해보겠습니다. 하둡 및 하이브를 설치하지 못하신 분은 아래의 링크를 참조해주세요. 2021.04.26 - [ spidyweb.tistory.com 이번 포스트에는 standalone(pseudo distributed hadoop cluster)에 HQL파일을 생성하여 job을 제출하는 실습을 해보겠습니다. https://..

[순서] 0. Pre-requisite 설치 1. 하이브 다운로드 2. 하이브 설치 3. 하이브 환경 변수 설정하기 4. hive-config.sh 파일 편집하기 5. HDFS에 Hive directory 만들기 6. hive-site.xml 파일 설정하기 7. derby database 시작하기 8. 하이브 Client Shell 시작하기 [Prerequisite] - Hive 설치를 위한 조건 및 가정 - WSL2는 설치되어 있다고 가정 - WSL은 amd 기반의 cpu를 기준으로 함(arm은 꼭 공식 문서 및 별도 자료 참조!!) - Hadoop 설치 필요 실제 Hive를 쓰기위해서 하둡이 필수인 것은 아니나, 이번 실습에서는 하둡이 설치되어 있다는 것을 가정합니다. 해당 포스트는 single no..

[순서] 1. Hive란? 2. Hive의 구성요소 3. Hive의 등장 배경 4. Hive 버전 별 특징 5. Hive 테이블의 문제점 1. Hive란? 하이브는 하둡 에코시스템 중에서 데이터를 모델링하고 프로세싱하는 경우 가장 많이 사용하는 데이터 웨어하우징용 솔루션입니다. RDB의 데이터베이스, 테이블과 같은 형태로 HDFS에 저장된 데이터의 구조를 정의하는 방법을 제공하며, 이 데이터를 대상으로 SQL과 유사한 HiveQL 쿼리를 이용하여 데이터를 조회하는 방법을 제공합니다. *가장 큰 특징으로는 메타스토어라는 것이 존재하는데, 하이브는 기존의 RDB와는 다르게 미리 스키마를 정의하고 그 틀에 맞게 데이터를 입력하는 것이 아닌, 데이터를 저장하고 거기에 스키마를 입히는(메타스토어에 입력하는) 것이..

[순서] 1. Hive metastore(메타스토어)란? 2. Hive 메타스토어 유형 3. Hive 메타스토어 설정 파라미터 4. Hive 버전 별 특징 5. Hive 테이블의 문제점 1.Hive metastore(메타스토어)란? 하이브는 테이블과 파티션과 관련된 메타정보를 모두 메타스토어에 저장합니다. 하이브는 기존의 RDBMS와 달리 데이터를 insert후 스키마를 입히게 되는데, 그때 스키마 정보를 메타스토어에서 참조하여 가져옵니다. 2.Hive 메타스토어 유형 하이브의 메타스토어 유형에는 임베디드 메타스토어(Embedded metastore), 로컬 메타스토어(Local metastore), 원격 메타스토어(Remote metastore) 세가지 유형이 있습니다. (1) 임베디드 메타스토어(Em..