목록etl (3)

데이터를 걷는 선비

[Hive] 하이브 실습해보기(ETL with HiveQL)

본 포스트는 아래 포스트를 보고 실습을 진행한 포스트입니다. https://spidyweb.tistory.com/302 [HIVE] (Hive 실습)Hadoop ETL with (HiveQL)HQL파일,HQL파일로 hadoop에 job제출하기 이번 포스트에는 standalone(pseudo distributed hadoop cluster)에 HQL파일을 생성하여 job을 제출하는 실습을 해보겠습니다. 하둡 및 하이브를 설치하지 못하신 분은 아래의 링크를 참조해주세요. 2021.04.26 - [ spidyweb.tistory.com 이번 포스트에는 standalone(pseudo distributed hadoop cluster)에 HQL파일을 생성하여 job을 제출하는 실습을 해보겠습니다. https://..
BigData/Data Engineering 2024. 2. 11. 20:48
클라우드 데이터 플랫폼 계층 아키텍처 (3/3)

본 포스팅은 "데이터 플랫폼 설계와 구축(다닐 즈부리브스키 외 저)"를 보고 작성했습니다. http://acornpub.co.kr/book/cloud-data-platforms#toc 데이터 플랫폼 설계와 구축 다양한 소스에서 데이터를 수집하기 위한 패턴을 찾고, 클라우드 공급업체에서 제공하는 서비스를 활용하는 방법을 배울 수 있다. www.acornpub.co.kr '클라우드 데이터 플랫폼 계층 아키텍처 (2/3)' 클라우드 데이터 플랫폼 계층 아키텍처 (2/3) 본 포스팅은 "데이터 플랫폼 설계와 구축(다닐 즈부리브스키 외 저)"를 보고 작성했습니다. http://acornpub.co.kr/book/cloud-data-platforms#toc 데이터 플랫폼 설계와 구축 다양한 소스에서 데이터를 수집하..
BigData/Data Platform 2023. 1. 8. 11:31
[Glue] AWS Glue 개념 정리

AWS 관련 업무를 하거나, 관련 자격증(Machine Learning Specialty, Data Analytics) 에 대해서 공부하다 보면 자주 등장하는 AWS Glue의 개념에 대해서 간단히 알아보겠습니다. https://aws.amazon.com/ko/glue/ 서버리스 데이터 통합 - AWS Glue - Amazon Web Services AWS Glue DataBrew를 사용하면 Amazon S3, Amazon Redshift, AWS Lake Formation, Amazon Aurora 및 Amazon Relational Database Service(RDS)를 비롯한 데이터 레이크, 데이터 웨어하우스 및 데이터베이스에서 직접 데이터를 탐색 aws.amazon.com [개념] AWS에서 설..
Cloud/AWS 2022. 12. 27. 17:41
이전 Prev 1 Next 다음