[AWS Glue] Glue 서비스 외부에서 파라미터 추가하는 법

 

1. 개요

---

이번에 HDC 프로젝트를 진행하면서 glue 서비스를 사용했음

glue 를 돌릴 때, glue 외부에서 어떻게 파라미터를 넣는지 몰랐는데 이번에 알게 되었음

 

 

 

 

2. 방법

---

- 간단함. sys 변수에 환경변수를 통해 파라미터를 넣어주는 코드를 짜고

- Glue 의 getResolvedOptions 함수를 이용하여 sys 변수에 있는 변수를 꺼내주면 됨

 

 

 

 

3. 샘플

---

1) MWAA 코드

glue_task_AAAA = GlueJobOperator(
        task_id = 'glue_task_samp;le',
        job_name = 'sample-mssql-job',
        script_args = {
            '--query' : "select * from dbo.sample_table a",
            '--table_name' : "sample_table",
        }
    )

-> mwaa 에서 script_args 옵션을 이용 key : value 값으로 변수를 생성함

 

 

2) Glue 코드

table_name = None
if '--query' in sys.argv:
    args = getResolvedOptions(sys.argv, ['query'])
    query = args['query']

if '--table_name' in sys.argv:
    args = getResolvedOptions(sys.argv, ['table_name'])
    table_name = args['table_name']

-> getResolvedOptions 옵션을 이용해서 sys.argv를 통해 들어온 query 변수를 args 변수에 저장

-> args 변수에 저장한 쿼리 정보를  query 변수에 넣은 다음 쿼리문 사용