[Spark error] Application report for application_1646281420207_0003 - 끝나지 않을때

 

1. 원인

---

yarn에서 해당 job에 리소스를 할당해주지 못해 발생하는 문제

계속 위의 문구가 반복된다. 

 

 

 

2. 해결방법

---

여러가지 원인이 있지만, 나의 경우에는 한 job 이 메모리의 99.8%를 먹고 있어서 발생했다.

체크하기 위해서 yarn dashboard 에 접속해서 상태를 체크해봤다.

 

 

3. 참고 링크

---

https://m.blog.naver.com/PostView.naver?isHttpsRedirect=true&blogId=alice_k106&logNo=220451472888 

32. [Spark] Application report for application_ (state: ACCEPTED) 가 끝나지 않을 떄