반응형
1. 에러 원인
해당 에러는 특정 jar 파일을 찾을 수 없을 때 나타난다.
2. 해결 방법
해결 방법은 의외로 간단한 것 같다.
사용하고자 하는 jar 파일의 위치를 spark-defaunt.conf 에 등록해주면 된다.
자세한 사항은 아래 링크를 참고하면 될것 같다.
emr 위주이지만 이해하기 쉽게 영상도 있어서
해결하기는 수월할 것 같다.
3. 참고 링크
https://aws.amazon.com/ko/premiumsupport/knowledge-center/emr-spark-classnotfoundexception/
Amazon EMR에서 Spark의 "java.lang.ClassNotFoundException" 해결
스택 추적을 확인하여 누락된 클래스의 이름을 찾습니다. 그런 다음 사용자 지정 JAR의 경로(누락된 클래스 포함)의 경로를 Spark 클래스 경로에 추가합니다. 클러스터 실행 중에, 새 클러스터를
aws.amazon.com
반응형