반응형
1. 원인
- glue spark job 에서 redshift 작업을 할 때, iam role 이 필요함.
- 이를 위해 aws_iam_role로 glue 에서 s3와 redshift 에서 작업할 수 있는 권한을 주어야 함.
- 하지만, 기입한 role에 작업할 수 있는 권한이 없거나, 잘못 기입되었을 떄 발생
- 나의 경우에는 기입한 iam 이 잘못 기입되어 있어서 발생함(아래와 같이 입력해야 한다)
2. 해결방법
- 아래 예제에 있는대로 입력을 해야 한다.
3. 참고 링크
Redshift copy from Parquet manifest in S3 fails and says MANIFEST parameter requires full path of an S3 object
I'm using Firehose to put records in Parquet format in an S3 bucket. I've manually defined a glue table. So I've got a manifest like { "entries": [ {"url":"s3://my-bucket/file1.parquet"}, ...
stackoverflow.com
반응형