최근 데이터 엔지니어링 강의를 들으면서 aws 에 대해서 조금씩 접하고 있다.
우선 aws glue 라는 서비스이다
aws 홈페이지의 설명은 아래와 같다
AWS Glue는 고객이 분석을 위해 손쉽게 데이터를 준비하고 로드할 수 있게 지원하는 완전관리형 ETL
(추출, 변환 및 로드) 서비스입니다
AWS 관리 콘솔에서 클릭 몇 번으로 ETL 작업을 생성하고 실행할 수 있습니다.
빅데이터 분석 시 다양한 데이터 소스에 대한 전처리 작업을 할 때,
별도의 데이터 처리용 서버나 인프라를 관리할 필요가 없습니다
라고 되어 있다. 라는 것을 보면 ETL 작업에 대한 전반적인 프로세스를 한번에 처리할 수 있는 그런 서비스인 것 같다는 생각이 든다.
소개하고 있는 장점은 아래 이미지와 같다
AWS 에서 구축한 여러 데이터베이스들을 통합 관리함으로써 ETL 프로세스에 대한 전반적인 관리를 수행하고, 데이터를 정제, 가공하여 분석을 용이하게 만들어주는 서비스를 제공하는 것으로 생각된다.
AWS GLUE 는 주로 아래의 상황에서 많이 활용할 수 있을 것으로 생각한다
1. 데이터 웨어하우스의 로그데이터 분석
2. 다양한 데이터 스토어에 대한 통합된 뷰 확인
3. 이벤트 기반 ETL 파이프 라인
위 3가지의 상황에서 가장 많이 활용이 되는 것 같으며, 전반적으로 데이터 엔지니어 프로세스 관리, 활용을 원활하게 만들어주는 서비스라고 인지하면 될 듯 하다.
참고링크
https://aws.amazon.com/ko/glue/
AWS Glue - 관리형 ETL 서비스 - Amazon Web Services
AWS Glue를 사용하면 손쉽게 반복되는 ETL 작업을 예약하거나, 여러 작업을 함께 묶거나, AWS Lambda와 같은 다른 서비스에서 온디맨드로 작업을 호출할 수 있습니다. AWS Glue는 작업 간 종속성을 관리하고, 기본 리소스를 자동으로 확장/축소하며, 작업이 실패하는 경우 다시 시도합니다.
aws.amazon.com
https://www.slideshare.net/awskorea/aws-glue-112394474
'클라우드 > AWS' 카테고리의 다른 글
| AWS Presto (0) | 2020.06.07 |
|---|---|
| AWS 사용시 주의사항 - 과금 관련 사항 (0) | 2020.05.31 |
| AWS service 1. Athena 서비스 (0) | 2020.05.28 |
| aws_summit 01. SQL 로 머신러닝하기 (0) | 2020.05.13 |
| aws error 1 : colud not connect to rds (0) | 2020.05.04 |