[Spark Error] Unable to find encoder for type XXX

 

 

1. 에러 원인

---

간혹 raw 데이터를 case class 로 정의해서 spark dataset으로 인코딩 시 발생할 수 있음

나의 경우에는 jupyter 로 한 셀에 동시에 정의를 해주려해서 생긴 에러였음

 

 

 

 

 

2. 해결방법

---

case class 를 맨 앞에 위치시키면 해결이 된다는 것을 듣고, 이를 바꾸어 case class 를 다른 셀로 분리시켰음

해결 완료

 

 

 

 

 

3. 참고 링크

---

https://knight76.tistory.com/entry/spark-Unable-to-find-encoder-for-type-XXX-%ED%95%B4%EA%B2%B0%ED%95%98%EA%B8%B0

[spark] Unable to find encoder for type XXX 해결하기