쟈누이의 기록습관

해당 에러는 yum 업데이트 오류인데.. 클라우데라를 설치하다가 다른 노드들은 모두 cloudera-manager-agent 가 설치가 되는데.. 유독 한개의 노드만 안되는 현상이 어제부터 계속 발생하고있었다.. 로그를 뜯어본 결과 cloudera-manager-agent-5.16.2-1.cm5162.p0.7.el7.x86_64: [Errno 256] No more mirrors to try. 이런 문구가 계속 뜨는 것이 보여서 [Errno 256] No more mirrors to try. 이것을 찾아보니 yum 에서 업데이트 실행시 mirrors 를 계속 찾다가 못찾고 끝나는 현상이라고 한다.. 그리고 이것을 해결하는 방법 중 하나로는 yum 캐쉬를 한번 청소를 해주는 것이라고 하는데.. [root@..

클라우데라를 공부하면서 이것 저것 에러를 많이 만난다..휴... 이번 에러의 경우에는 jdk 를 클라우데라 에서 설치하다가 일어났었는데.. 찾아보니깐..yum 에 문제가 있는 경우란다.. 근데 생각해 보니깐...yum이 문제가 일어나는 경우에는.. 1. 노드에서 설정한 ip 가 문제가 있거나 2. cache 때문에..이전 기록과 자꾸 충돌하는 경우인데.. 나의 경우에는 2번인줄알고 주구 장창..cache 를 삭제하고 진행을 했었지만..위의 에러가 뜨길래 보니.. 복제한 노드들 ip 설정을 제대로 안햇.....후..이런 기초적인 실수를..ㅠㅠ 우선 위 에러가 뜬 경우에는 첫번째로 내가 노드에 설정한 ip 들이 문제가 있나?? 살펴보고.. 그 다음 이상이 없다면 yum cache 들을 한번 청소해보자 아래 ..

클라우데라 설치시, 노드 갯수에 대해 궁금했다. 책에서는 3개로 하고 있었지만.. 3개로 설치를 해보니..뭔가 충돌을 일으키는 것같아서.. 찾아봤더니.. 권장 최소 노드의 갯수는 4개.. main node 1개 data node 3개 총 4개이다.. 대충 보니깐..main 노드에 data 노드 일까지 병행시킬 경우..main 노드에 부담을 줄 수가 있어서 data 노드는 따로 분리하는 것이 좋단다.. 아래 링크 참고!! (틀린 점이 발견될 경우 댓글 부탁드립니다) 참고 링크: https://community.cloudera.com/t5/Support-Questions/node-limits-on-cloudera-manager-5-or-6/td-p/81731 node limits on cloudera man..

이 문제의 경우 리눅스 서버의 호스트 이름과 클라우데라에서 인지하는 호스트 이름이 다를 때 발생한다. 나의 경우 hostnamectl set-hostname (호스트 이름) 에 실제 만들어준 호스트 이름을 썻어야 했는데, /etc/hosts 에 설정한 allias 로 사용해서 위 에러가 발생했다. 아래 링크들을 참고하면 쉽게 해결할 수 있다. https://min772a.tistory.com/3 [CDH] "Java 프로세스에서 검사한 이 호스트의 호스트 이름과 정식 이름이 동일하지 않습니다." CDH(Cloudera's Distribution for Hadoop - 클라우데라 하둡 배포판)을 설치할 때는 Cloudera manager를 사용하여 설치하면 큰 문제없이 설치가 가능하다. Cloudera m..

간혹 컴퓨터를 비정상적으로 끝낸 경우... 하둡, 클라우데라가 설치되어 있는 리눅스 서버에 safe mode 가 걸려 서비스들을 실행하지 못할 수도 있다.. 그럴 경우 다른 하둡 관련 서비스(하이브..등) 을 실행할 경우에는 아래 이미지와 같은 에러가 뜰 수 있는데 이럴 경우 아래 명령어를 통해서 safemode 를 해제해주어야만 한다. sudo -u hdfs hdfs dfsadmin -safemode leave 아래링크를 참고하자 https://community.cloudera.com/t5/Support-Questions/Exercise-1-Name-node-in-safe-mode-Error/m-p/78994#M3471 Re: Exercise 1: Name node in safe mode Error A..

하둡을 설치하고 이 에러가 뜨면 진짜 화가..후.. 다시 하둡이 설치가 되어 있는지를 확인해도 하둡은 잘 설치가 되어있다? 그러면 처음에 하둡 실행을 위해 기입한 환경설정한 부분 /etc/profile 부분에서 무엇인가 기입이 하나 안되어 있을 가능성이 크다 이 부분은 /etc/profile 부분에서 처음에 기입해준 hadoop 과 java 관련 경로가 제대로 들어갔는지 확인이 필요하다

서버 연결 문제 보통 클라우데라의 경우에는 5~10분정도 기다려야 로그인 창이 뜨긴한다.. 왜 그런지는 모르겠지만.. 하지만 10분이 지났는데도 안되면.. 리눅스 서버 내에 깔려 있는 클라우데라가 문제가 있을 수 있으므로 다시 시작해 주는 것이 좋다 1. systemctl stop cloudera-scm-agent - 노드 1에서 실행(cloudera 가 깔려 있는 노드!!) 2. pscp -h ~/hosts.txt systemctl stop cloudera-scm-agent -> 여기서 pscp 는 연결된 다른 가상환경의 노드들에게 같은 명령어를 뿌리게 해주는 리눅스만의 명령어 -> 모든 서버의 cloudera-scm-agent 들을 전부 꺼준다 3. systemctl stop cloudera-scm-..

클라우데라의 문제는 색깔 기준으로 2개로 섹션이 나뉜다. 우선 구성에 들어가 해결할 수 있는 문제들을 해결한다. 1. 빨간색(모든 상태 문제) - DNS 문제(DNS 관련 문제 가 있다고 계속 뜸) allias 로 기입을 했지만, allias 를 통한 노드 이름을 식별하지 못하는 것이기 때문에 나타나는 문제이다 이럴때는 putty 로 연결되어 있는 노드들에 들어가 노드의 이름을 allias 에서 본래 이름으로 바꾸어 준다. 그 이후에, cloudera-scm-agent / server / server-db 등을 다시 시작해 준다음에 재 로그인해주면 된다. 참고로, ssh 를 써주면 node1 에서 node2로 잠시 접속을 갈아타 일일히 가상환경을 키지 않아도 노드들의 이름을 바꾸어 줄 수가 있으므로 편하..

이 방법은 putty 에서 cloudera 를 삭제하는 방법이다 배포한 서버별로 아래 명령어를 실행해주어야 한다 service cloudera-scm-agent stop service cloudera-scm-server stop 하지만, 이미 pssh 모듈을 사용하고 있으므로 기존에 작성해둔, hosts.txt 를 바탕으로 각 명령어를 공통적으로 뿌려준다 pssh -h ~/hosts.txt service cloudera-scm-agent stop pssh -h ~/hosts.txt service cloudera-scm-server stop 그 이후, node 1에만 클라우데라를 설치해주었으므로 아래 명령어를 활용하여 삭제해준다 yum remove 'cloudera-manager-*' (클라우데라 설치되어..

클라우데라 설치를 위한 사전작업으로 ssh라는 원격 접속 툴을 설치하고 이를 바탕으로 node1에서 ssh 를 통해 node2 와 node3 에 원격 접속하여 패키지들과 다른 진행사항들을 한번에 뿌릴 준비를 하고 있었는데.. 어제 오후부터 계속 막히는 것이었다. ip 설정이며 다른것들은 다 제대로 했는데.. 왜 안되는 것일까... 고민에 고민을 했었고 가상환경을 수도 없이 밀면서 ㅠㅠ 여러 사이트들을 돌며 하루 종일 찾았었다.. 대부분 /etc/ssh/sshd_conf 에 들어가서 퍼미션, 퍼밋 유저 DNS 부분에서 허락 표시로 하라고 한다.. --> 이것들이 주석이 되어 있을 경우에는 DEFAULT 값으로 되어 있지만.. 리눅스에서 통신시에 인지를 못할 수 있다는 것이다. 두번째로는 리눅스를 설치할 때..