반응형

Glue 2

[AWS Glue] Glue 서비스 외부에서 파라미터 추가하는 법

1. 개요 이번에 HDC 프로젝트를 진행하면서 glue 서비스를 사용했음 glue 를 돌릴 때, glue 외부에서 어떻게 파라미터를 넣는지 몰랐는데 이번에 알게 되었음 2. 방법 - 간단함. sys 변수에 환경변수를 통해 파라미터를 넣어주는 코드를 짜고 - Glue 의 getResolvedOptions 함수를 이용하여 sys 변수에 있는 변수를 꺼내주면 됨 3. 샘플 1) MWAA 코드 glue_task_AAAA = GlueJobOperator( task_id = 'glue_task_samp;le', job_name = 'sample-mssql-job', script_args = { '--query' : "select * from dbo.sample_table a", '--table_name' : "sa..

클라우드/AWS 2023.12.21

1. aws glue

최근 데이터 엔지니어링 강의를 들으면서 aws 에 대해서 조금씩 접하고 있다. 우선 aws glue 라는 서비스이다 aws 홈페이지의 설명은 아래와 같다 AWS Glue는 고객이 분석을 위해 손쉽게 데이터를 준비하고 로드할 수 있게 지원하는 완전관리형 ETL (추출, 변환 및 로드) 서비스입니다 AWS 관리 콘솔에서 클릭 몇 번으로 ETL 작업을 생성하고 실행할 수 있습니다. 빅데이터 분석 시 다양한 데이터 소스에 대한 전처리 작업을 할 때, 별도의 데이터 처리용 서버나 인프라를 관리할 필요가 없습니다 라고 되어 있다. 라는 것을 보면 ETL 작업에 대한 전반적인 프로세스를 한번에 처리할 수 있는 그런 서비스인 것 같다는 생각이 든다. 소개하고 있는 장점은 아래 이미지와 같다 AWS 에서 구축한 여러 데..

클라우드/AWS 2020.05.10
반응형