반응형
1. 에러의 원인
- 데이터가 저장된 S3 의 경로를 파일이 저장된 경로의 한단계 위의 빈 경로를 가리키고 있었음
- 지정한 경로에는 파일은 없었고 순수하게 폴더만 있었음
- 그러기 때문에 파케이 파일을 직접적으로 읽을 수 없었음..
2. 에러 해결
- 파일이 저장된 경로를 직접적으로 가리켰음
- spark 에서 파케이 파일을 직접 읽을 수 있도록 지정했음
3. 참고 링크
https://stackoverflow.com/questions/44954892/unable-to-infer-schema-when-loading-parquet-file
Unable to infer schema when loading Parquet file
response = "mi_or_chd_5" outcome = sqlc.sql("""select eid,{response} as response from outcomes where {response} IS NOT NULL""".format(response=response)) outcome.write.parquet(response, mode="over...
stackoverflow.com
반응형