일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | ||
6 | 7 | 8 | 9 | 10 | 11 | 12 |
13 | 14 | 15 | 16 | 17 | 18 | 19 |
20 | 21 | 22 | 23 | 24 | 25 | 26 |
27 | 28 | 29 | 30 |
- gcp
- etl
- Opensearch
- elk
- Spark
- 리눅스
- 파이썬답게생각하기
- MLOps
- Kubernetes
- yarn
- hive
- 데이터 플랫폼
- 파이썬처럼생각하기
- 머신러닝
- Minikube
- Python
- Kibana
- 쿠버네티스
- 쿠버플로우
- TABNET
- 쿠버플로
- 파이썬
- 데이터 아키텍처
- mesos
- Kubeflow
- Tabular
- fluentd
- AWS Glue
- MachineLearning
- 하이브
- Today
- Total
목록Cloud/AWS (3)
데이터를 걷는 선비

이전 포스팅에서 Glue에 대한 개념을 알아보았지만 막상 개념이 너무 두루뭉술하다. 이번 포스팅에서는 직접 Glue Cralwer로 데이터 카탈로그 데이터 베이스에 테이블을 생성하는 실습을 통해 Glue를 자세히 알아보자 https://semizero.tistory.com/5 [Glue] AWS Glue 개념 정리 AWS 관련 업무를 하거나, 관련 자격증(Machine Learning Specialty, Data Analytics) 에 대해서 공부하다 보면 자주 등장하는 AWS Glue의 개념에 대해서 간단히 알아보겠습니다. https://aws.amazon.com/ko/glue/ 서버리스 semizero.tistory.com [실습] 미션 : S3(데이터 스토어) 에 적재된 데이터를 Glue 크롤러를 ..

클라우드 데이터 플랫폼 아키텍처에 대한 설명은 아래 포스팅을 참조! https://semizero.tistory.com/12 클라우드 데이터 플랫폼 계층 아키텍처 (1/3) 본 포스팅은 "데이터 플랫폼 설계와 구축(다닐 즈부리브스키 외 저)"를 보고 작성했습니다. http://acornpub.co.kr/book/cloud-data-platforms#toc 데이터 플랫폼 설계와 구축 다양한 소스에서 데이터를 수집하 semizero.tistory.com AWS는 퍼블릭 클라우드 시장에서 가장 오래된 업체이며, 사실상 클라우드라는 개념을 정의했다 해도 과언이 아니며 클라우드의 표준이라고 칭할 수 있다. AWS는 완전 관리형 PaaS, IaaS 영역에서 모두 다양한 제품을 제공하고 있으며, 데이터 플랫폼 계층의..

AWS 관련 업무를 하거나, 관련 자격증(Machine Learning Specialty, Data Analytics) 에 대해서 공부하다 보면 자주 등장하는 AWS Glue의 개념에 대해서 간단히 알아보겠습니다. https://aws.amazon.com/ko/glue/ 서버리스 데이터 통합 - AWS Glue - Amazon Web Services AWS Glue DataBrew를 사용하면 Amazon S3, Amazon Redshift, AWS Lake Formation, Amazon Aurora 및 Amazon Relational Database Service(RDS)를 비롯한 데이터 레이크, 데이터 웨어하우스 및 데이터베이스에서 직접 데이터를 탐색 aws.amazon.com [개념] AWS에서 설..