쟈누이의 기록습관

클라우데라 설치시, 노드 갯수에 대해 궁금했다. 책에서는 3개로 하고 있었지만.. 3개로 설치를 해보니..뭔가 충돌을 일으키는 것같아서.. 찾아봤더니.. 권장 최소 노드의 갯수는 4개.. main node 1개 data node 3개 총 4개이다.. 대충 보니깐..main 노드에 data 노드 일까지 병행시킬 경우..main 노드에 부담을 줄 수가 있어서 data 노드는 따로 분리하는 것이 좋단다.. 아래 링크 참고!! (틀린 점이 발견될 경우 댓글 부탁드립니다) 참고 링크: https://community.cloudera.com/t5/Support-Questions/node-limits-on-cloudera-manager-5-or-6/td-p/81731 node limits on cloudera man..

리눅스 서버에서 yum install 및 remove 를 하는 경우 종종 아래 의 메시지가 나온다.. Another app is currently holding the yum lock; 그리고 계속 같은 말만 반복... 이럴 경우에는 이 명령어를 사용한다 [root@node1 ~]#rm -rf /var/run/yum.pid 해결이 가능하다 아래 링크를 통해 해결할 수 있다. https://tisiphone.tistory.com/230 [YUM] Another app is currently holding the yum lock; 에러발생 시 조치방법 [YUM] Another app is currently holding the yum lock; 에러발생 시 조치방법 리눅스 서버에서 yum update 및 i..

이 문제의 경우 리눅스 서버의 호스트 이름과 클라우데라에서 인지하는 호스트 이름이 다를 때 발생한다. 나의 경우 hostnamectl set-hostname (호스트 이름) 에 실제 만들어준 호스트 이름을 썻어야 했는데, /etc/hosts 에 설정한 allias 로 사용해서 위 에러가 발생했다. 아래 링크들을 참고하면 쉽게 해결할 수 있다. https://min772a.tistory.com/3 [CDH] "Java 프로세스에서 검사한 이 호스트의 호스트 이름과 정식 이름이 동일하지 않습니다." CDH(Cloudera's Distribution for Hadoop - 클라우데라 하둡 배포판)을 설치할 때는 Cloudera manager를 사용하여 설치하면 큰 문제없이 설치가 가능하다. Cloudera m..

해당 에러의 경우에는 쉘 스크립트를 실행할 때 발생할 수 있는 에러이다. 보통 쉘스크립트의 경우에는 리눅스의 bash 에디트 등을 사용해서 작성을 하지만.. 편의를 위해서 윈도우의 sublime text 등을 사용해서 작성하는 경우도 종종 있다고 한다. 이럴 때 발생하기 쉬운데.. 이를 해결하기 위해서 아래 링크를 참고해서 명령어를 써주면 좋다 $sed -i -e 's/\r$//' test.sh(만들었던 shell script 파일 이름 기입) 참고 링크 https://wrjeoung.tistory.com/34 [Linux] 윈도우 작성파일 리눅스에서 에러나는 경우 '\r': command not found Windows 에서 작성한 파일 리눅스에서 에러가 발생하는 경우 에러 메시지 '\r': comma..

위 에러는 보통 리눅스에서 파이썬을 설치하고 모듈을 import 할 때 나타나는 현상이다.. 간단하게 lzma 에 대해서 기입하자면... The Lempel–Ziv–Markov chain algorithm(LZMA) performs lossless data compression using a dictionary compression scheme featuring a higher compression ratio than other compression algorithms. Python’s lzma module consists of classes and convenience functions for compression and decompression of data with LZMA algorithm. Le..

ntp를 했을 경우 한국 시간이 제대로 안 뜰경우에는 미국 동부시간기준으로 뜬다 그런 에러가 발생할 때는 아래 링크를 참고하여 해결하자 http://time2relax.net/wp/?p=1010 서버 시간 동기화 – 역마살 낀 개발자 우리나라에서 운영되고 있는 NTP 서버 kr.pool.ntp.org time.bora.net time.nuri.net NTP 설치 CentOS 6.4 Minimal 버전에는 NTP 가 설치되어 있지 않다. yum 을 이용해서 설치하자. yum install ntp NTP 설정 peer 설정이다. 즉, 시간 동기화를 받기 위한 설정내용이다. 기본적으로 입력되어있는 server 0.centos.pool.ntp.org등을 주석처리하거나 삭제하고 국내 NTP 서 time2relax..

간혹 컴퓨터를 비정상적으로 끝낸 경우... 하둡, 클라우데라가 설치되어 있는 리눅스 서버에 safe mode 가 걸려 서비스들을 실행하지 못할 수도 있다.. 그럴 경우 다른 하둡 관련 서비스(하이브..등) 을 실행할 경우에는 아래 이미지와 같은 에러가 뜰 수 있는데 이럴 경우 아래 명령어를 통해서 safemode 를 해제해주어야만 한다. sudo -u hdfs hdfs dfsadmin -safemode leave 아래링크를 참고하자 https://community.cloudera.com/t5/Support-Questions/Exercise-1-Name-node-in-safe-mode-Error/m-p/78994#M3471 Re: Exercise 1: Name node in safe mode Error A..

하둡을 설치하고 이 에러가 뜨면 진짜 화가..후.. 다시 하둡이 설치가 되어 있는지를 확인해도 하둡은 잘 설치가 되어있다? 그러면 처음에 하둡 실행을 위해 기입한 환경설정한 부분 /etc/profile 부분에서 무엇인가 기입이 하나 안되어 있을 가능성이 크다 이 부분은 /etc/profile 부분에서 처음에 기입해준 hadoop 과 java 관련 경로가 제대로 들어갔는지 확인이 필요하다

pssh 를 이용하여 java 를 설치하려고 봤더니 자꾸 이런 에러가 나타나서 봤더니... 해당 에러는 주로 yum 을 사용할 때 나타나는 에러이다.. 잘 나타나지는 않지만.. 간혹 새로 리눅스를 설치했을 때 Cent OS 계열의 리눅스에서 나타나는 애러라고 한다.. 위 에러가 나타났을 때, yum repo를 확인 할 경우 아래 이미지와 같이 나타날 것이다. 위 에러는 yum 이 base repository 에 접속 할수 없을 때 나타나는 에러이다. 위 에러가 나타나는 경우는 두가지이다 1. 네트워크 이슈 2. yum repository에서 실행되는 configuration file 에 base URL 의 문제 인데.. 처음에 DNS 서버를 잘못 설정하면 YUM 관련 에러가 나타날 수 있다. 거의 네트워..

서버 연결 문제 보통 클라우데라의 경우에는 5~10분정도 기다려야 로그인 창이 뜨긴한다.. 왜 그런지는 모르겠지만.. 하지만 10분이 지났는데도 안되면.. 리눅스 서버 내에 깔려 있는 클라우데라가 문제가 있을 수 있으므로 다시 시작해 주는 것이 좋다 1. systemctl stop cloudera-scm-agent - 노드 1에서 실행(cloudera 가 깔려 있는 노드!!) 2. pscp -h ~/hosts.txt systemctl stop cloudera-scm-agent -> 여기서 pscp 는 연결된 다른 가상환경의 노드들에게 같은 명령어를 뿌리게 해주는 리눅스만의 명령어 -> 모든 서버의 cloudera-scm-agent 들을 전부 꺼준다 3. systemctl stop cloudera-scm-..