쟈누이의 기록습관

1. 개요 맥북에서 파이스파크를 설치하고 실행하려고 했을 때 위와 같은 에러가 나타났다 2. 원인 hostname 이 등록되어 있지 않아서 나타난 에러였다. vi /etc/hosts 를 해서 내 호스트 네임을 등록해주면 된다. 3. 참고 링크 https://itholic.github.io/etc-sparkdriver-retires-err/ [spark] Service ‘sparkDriver’ failed after 16 retries (on a random free port)! 오류 Spark Service ‘sparkDriver’ failed after 16 retries (on a random free port)! 오류 해결 itholic.github.io

1. 원인 yarn-site.xml 기입을 할 때 aux-service handler 를 설정하지 않았던 이유가 컸다. yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.aux-services.mapreduce_shuffle.class org.apache.hadoop.mapred.ShuffleHandler -> aux-services 을 설정할 때 아래에 mapreduce_shuffle.class 설정을 반드시 해주어야 한다. 왜 aux-service 설정시 mapreduce_shuffle.class 을 설정해주어야 하는지 궁금해서 서치를 해보았더니 주로 나오는 이유는 아래와 같았다. 1) must have 로 꼭 기입해야만 한다. 2) ..

1. 원인 yarn에서 해당 job에 리소스를 할당해주지 못해 발생하는 문제 계속 위의 문구가 반복된다. 2. 해결방법 여러가지 원인이 있지만, 나의 경우에는 한 job 이 메모리의 99.8%를 먹고 있어서 발생했다. 체크하기 위해서 yarn dashboard 에 접속해서 상태를 체크해봤다. 3. 참고 링크 https://m.blog.naver.com/PostView.naver?isHttpsRedirect=true&blogId=alice_k106&logNo=220451472888 32. [Spark] Application report for application_ (state: ACCEPTED) 가 끝나지 않을 떄 최근, spark로 클러스터를 구축해야 할 일이 생겨서 사내 서버 내에서 리눅스 컨테이너를..

1. 에러 원인 json serde 로 저장된 hive 테이블을 불러올 때 json 형식으로 저장된 글을 인식하지 못해 일어나는 에러 2. 해결 방법 hive lib 의 jar 파일들이 있는 곳에 때려 박았음 참고로 jar 파일은 아래 링크에서 다운로드 받았다. https://jar-download.com/ Download JAR files with all dependencies Many resources are needed to download a project. Please understand that we have to compensate our server costs. Thank you in advance. Project price only 1 $ You can buy this project an..

1. 에러의 원인 wsl 에서 간단한 spark 테스트를 위해 hadoop 을 설치했으나 datanode 와 namenode 의 clusterID 가 달라 벌어진 현상 평상시에는 가상환경 3개를 나누어 데이터 노드, 네임노드를 따로설정하기에 별 문제가 없지만 이번 경우에는 하나의 가상환경에서 테스트를 진행하는 것이기에 데이터 노드와 네임노드가 한곳에 위치했었다. 하지만 hadoop 을 설정하는 과정에서 하둡이 자연스럽게 데이터 노드와 네임노드의 clusterID 를 다르게 설정했고, 이로인해 한곳의 장소에서 두개의 다른 아이디가 뜨니 hadoop 입장에서는 에러를 때려서 데이터 노드를 꺼버린 것 2. 해결 방법 1) hadoop log 확인 나의 경우에는 hadoop 에 있는 데이터노드의 로그를 체크했다..

1. 에러 원인 there's no more data and the peer has closed the connection. --> 데이터 노드에 데이터가 없어서 연결을 끊어 버리겟슴다 라고 하둡에서 말하는 거라는 것 같다. 2. 해결 방법 말로는 core-site.xml 에 들어가서 ip를 127.0.0.1 ==> 0.0.0.0 으로 바꾸라는 것 같다 3. 참고 링크 https://stackoverflow.com/questions/7949058/what-is-the-meaning-of-eof-exceptions-in-hadoop-namenode-connections-from-hbase What is the meaning of EOF exceptions in hadoop namenode connectio..

1. 에러 원인 간혹 raw 데이터를 case class 로 정의해서 spark dataset으로 인코딩 시 발생할 수 있음 나의 경우에는 jupyter 로 한 셀에 동시에 정의를 해주려해서 생긴 에러였음 2. 해결방법 case class 를 맨 앞에 위치시키면 해결이 된다는 것을 듣고, 이를 바꾸어 case class 를 다른 셀로 분리시켰음 해결 완료 3. 참고 링크 https://knight76.tistory.com/entry/spark-Unable-to-find-encoder-for-type-XXX-%ED%95%B4%EA%B2%B0%ED%95%98%EA%B8%B0 [spark] Unable to find encoder for type XXX 해결하기 rawdata를 case class로 정의해서 ..

1. 에러 이유 JAVA_HOME의 환경 변수를 찾지 못해 발생한다. 2. 해결방법 1) 하둡 설치 경로를 따라가서 hadoop-env.sh 를 오픈한다 vi /home/hadoop-3.1.2/etc/haddop/hadoop-env.sh # 여기서 경로는 하둡을 설치해준 경로로 변경하면된다 2) java 설치 경로를 따라가서 홈 디렉토리를 설정한다 # export JAVA_HOME=[JAVA 홈 디렉토리] export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.242.b08-0.el7_7.x86_64/

1. 에러 원인 카프카가 실패한 cluster ID 를 meta.properties 에 저장을 해서 일어나는 에러인 것 같다. 카프카 구동시 meta 데이터를 참조하는데, 이때 실패한 cluster ID 가 있으면 그것을 참조하여 카프카가 실행에 실패하는 것 같다.. (이것때문에 2시간 가까이 날림...) 2. 해결 방법 1) meta.properties 파일을 찾는다. 해당 파일은 config/server.properties 파일에서 Log Basics 부분의 log.dir 경로를 찾는다 2) 그다음 해당 경로를 찾아가서 meta.properties 파일을 삭제한다 $ cd $ rm -rf meta.properties 3) 그리고 다시 kafka를 시작하는 명령어로 kafka를 다시 실행시켜 준다. $..

1. 에러의 원인 클라우데라 커뮤니티에서 찾은 답에 따르면 아래와 같다 '/user/' 디렉토리는 755 퍼미션을 가진 hdfs 소유인데, 이 퍼미션 덕분에 hdfs 는 오직 쓰기만이 가능하다. 유닉스/리눅스와 달리 hdfs 는 superuser 이지만 root 권한을 가진 계정이 아니다. 그래서 우리는 아래와 같이 명령어를 쳐줘야 한다. 여기서 주목해야될 점은 superuser 이지만 'root 계정이 아니다'인 것 같다. 2. 해결 방법 sudo -u hdfs hadoop fs ... 로 시작하는 명령어로 hdfs 슈퍼유저에게 sudo 권한으로 root 권한을 주어 경로를 생성하게 만드는 것이다 (이것은 하나의 예시이다) 3. 참고 링크 https://community.cloudera.com/t5/S..