반응형

cloudera 4

프로젝트 주의 사항8 : [Errno 256] No more mirrors to try?

해당 에러는 yum 업데이트 오류인데.. 클라우데라를 설치하다가 다른 노드들은 모두 cloudera-manager-agent 가 설치가 되는데.. 유독 한개의 노드만 안되는 현상이 어제부터 계속 발생하고있었다.. 로그를 뜯어본 결과 cloudera-manager-agent-5.16.2-1.cm5162.p0.7.el7.x86_64: [Errno 256] No more mirrors to try. 이런 문구가 계속 뜨는 것이 보여서 [Errno 256] No more mirrors to try. 이것을 찾아보니 yum 에서 업데이트 실행시 mirrors 를 계속 찾다가 못찾고 끝나는 현상이라고 한다.. 그리고 이것을 해결하는 방법 중 하나로는 yum 캐쉬를 한번 청소를 해주는 것이라고 하는데.. [root@..

프로젝트 주의 사항4: cloudera 설치 후 발생할 수 있는 문제들 정리2 - 서버연결문제 / NTP clock offset 문제

서버 연결 문제 보통 클라우데라의 경우에는 5~10분정도 기다려야 로그인 창이 뜨긴한다.. 왜 그런지는 모르겠지만.. 하지만 10분이 지났는데도 안되면.. 리눅스 서버 내에 깔려 있는 클라우데라가 문제가 있을 수 있으므로 다시 시작해 주는 것이 좋다 1. systemctl stop cloudera-scm-agent - 노드 1에서 실행(cloudera 가 깔려 있는 노드!!) 2. pscp -h ~/hosts.txt systemctl stop cloudera-scm-agent -> 여기서 pscp 는 연결된 다른 가상환경의 노드들에게 같은 명령어를 뿌리게 해주는 리눅스만의 명령어 -> 모든 서버의 cloudera-scm-agent 들을 전부 꺼준다 3. systemctl stop cloudera-scm-..

프로젝트 주의 사항3: cloudera 설치 후 발생할 수 있는 문제들 정리1 : DNS 문제, 구성(메모리 할당) 문제

클라우데라의 문제는 색깔 기준으로 2개로 섹션이 나뉜다. 우선 구성에 들어가 해결할 수 있는 문제들을 해결한다. 1. 빨간색(모든 상태 문제) - DNS 문제(DNS 관련 문제 가 있다고 계속 뜸) allias 로 기입을 했지만, allias 를 통한 노드 이름을 식별하지 못하는 것이기 때문에 나타나는 문제이다 이럴때는 putty 로 연결되어 있는 노드들에 들어가 노드의 이름을 allias 에서 본래 이름으로 바꾸어 준다. 그 이후에, cloudera-scm-agent / server / server-db 등을 다시 시작해 준다음에 재 로그인해주면 된다. 참고로, ssh 를 써주면 node1 에서 node2로 잠시 접속을 갈아타 일일히 가상환경을 키지 않아도 노드들의 이름을 바꾸어 줄 수가 있으므로 편하..

프로젝트 주의 사항2: cloudera 삭제 방법

이 방법은 putty 에서 cloudera 를 삭제하는 방법이다 배포한 서버별로 아래 명령어를 실행해주어야 한다 service cloudera-scm-agent stop service cloudera-scm-server stop 하지만, 이미 pssh 모듈을 사용하고 있으므로 기존에 작성해둔, hosts.txt 를 바탕으로 각 명령어를 공통적으로 뿌려준다 pssh -h ~/hosts.txt service cloudera-scm-agent stop pssh -h ~/hosts.txt service cloudera-scm-server stop 그 이후, node 1에만 클라우데라를 설치해주었으므로 아래 명령어를 활용하여 삭제해준다 yum remove 'cloudera-manager-*' (클라우데라 설치되어..

반응형