프로젝트 주의 사항8 : [Errno 256] No more mirrors to try?
·
Error code 모음/2. Hadoop errors
해당 에러는 yum 업데이트 오류인데.. 클라우데라를 설치하다가 다른 노드들은 모두 cloudera-manager-agent 가 설치가 되는데.. 유독 한개의 노드만 안되는 현상이 어제부터 계속 발생하고있었다.. 로그를 뜯어본 결과 cloudera-manager-agent-5.16.2-1.cm5162.p0.7.el7.x86_64: [Errno 256] No more mirrors to try. 이런 문구가 계속 뜨는 것이 보여서 [Errno 256] No more mirrors to try. 이것을 찾아보니 yum 에서 업데이트 실행시 mirrors 를 계속 찾다가 못찾고 끝나는 현상이라고 한다.. 그리고 이것을 해결하는 방법 중 하나로는 yum 캐쉬를 한번 청소를 해주는 것이라고 하는데.. [root@..
Linux error : Another app is currently holding the yum lock; 에러
·
Error code 모음/3. Linux Errors
리눅스 서버에서 yum install 및 remove 를 하는 경우 종종 아래 의 메시지가 나온다.. Another app is currently holding the yum lock; 그리고 계속 같은 말만 반복... 이럴 경우에는 이 명령어를 사용한다 [root@node1 ~]#rm -rf /var/run/yum.pid 해결이 가능하다 아래 링크를 통해 해결할 수 있다. https://tisiphone.tistory.com/230 [YUM] Another app is currently holding the yum lock; 에러발생 시 조치방법 [YUM] Another app is currently holding the yum lock; 에러발생 시 조치방법 리눅스 서버에서 yum update 및 i..
Linux Error : '\r': command not found
·
Error code 모음/3. Linux Errors
해당 에러의 경우에는 쉘 스크립트를 실행할 때 발생할 수 있는 에러이다. 보통 쉘스크립트의 경우에는 리눅스의 bash 에디트 등을 사용해서 작성을 하지만.. 편의를 위해서 윈도우의 sublime text 등을 사용해서 작성하는 경우도 종종 있다고 한다. 이럴 때 발생하기 쉬운데.. 이를 해결하기 위해서 아래 링크를 참고해서 명령어를 써주면 좋다 $sed -i -e 's/\r$//' test.sh(만들었던 shell script 파일 이름 기입) 참고 링크 https://wrjeoung.tistory.com/34 [Linux] 윈도우 작성파일 리눅스에서 에러나는 경우 '\r': command not found Windows 에서 작성한 파일 리눅스에서 에러가 발생하는 경우 에러 메시지 '\r': comma..
python error: Could not import the lzma module. Your installed Python is incomplete.
·
Error code 모음/4. Python errors
위 에러는 보통 리눅스에서 파이썬을 설치하고 모듈을 import 할 때 나타나는 현상이다.. 간단하게 lzma 에 대해서 기입하자면... The Lempel–Ziv–Markov chain algorithm(LZMA) performs lossless data compression using a dictionary compression scheme featuring a higher compression ratio than other compression algorithms. Python’s lzma module consists of classes and convenience functions for compression and decompression of data with LZMA algorithm. Le..
hadoop error 1: hadoop: commend not found
·
Error code 모음/2. Hadoop errors
하둡을 설치하고 이 에러가 뜨면 진짜 화가..후.. 다시 하둡이 설치가 되어 있는지를 확인해도 하둡은 잘 설치가 되어있다? 그러면 처음에 하둡 실행을 위해 기입한 환경설정한 부분 /etc/profile 부분에서 무엇인가 기입이 하나 안되어 있을 가능성이 크다 이 부분은 /etc/profile 부분에서 처음에 기입해준 hadoop 과 java 관련 경로가 제대로 들어갔는지 확인이 필요하다
프로젝트 주의 사항4: cloudera 설치 후 발생할 수 있는 문제들 정리2 - 서버연결문제 / NTP clock offset 문제
·
Error code 모음/2. Hadoop errors
서버 연결 문제 보통 클라우데라의 경우에는 5~10분정도 기다려야 로그인 창이 뜨긴한다.. 왜 그런지는 모르겠지만.. 하지만 10분이 지났는데도 안되면.. 리눅스 서버 내에 깔려 있는 클라우데라가 문제가 있을 수 있으므로 다시 시작해 주는 것이 좋다 1. systemctl stop cloudera-scm-agent - 노드 1에서 실행(cloudera 가 깔려 있는 노드!!) 2. pscp -h ~/hosts.txt systemctl stop cloudera-scm-agent -> 여기서 pscp 는 연결된 다른 가상환경의 노드들에게 같은 명령어를 뿌리게 해주는 리눅스만의 명령어 -> 모든 서버의 cloudera-scm-agent 들을 전부 꺼준다 3. systemctl stop cloudera-scm-..
python error: do_this( ) takes 1 positional argument but 15 were given
·
Error code 모음/4. Python errors
해당 에러는 파이썬에서 나타나는 전달된 인자 갯수와 관련된 에러타입이다 함수는 위치 인자를 1개 취하는데, 이 개수보다 많은 인자가 위치 인자로 전달되었거나, 특정하게 지정되지 않은 인자가 전달되지 않았을 때 나타나는 에러이다. 이 상황은 주로 2가지 상황에서 나타나는 것 같은데.. 첫번째는 class 함수에 self 가 들어가지 않았을 때 위 첫번재 에러의 경우에는 아직 코드로 구현을 하지 않아서 . 나중에 참고하기 위해 링크를 남겨둔다 https://stackoverflow.com/questions/23944657/typeerror-method-takes-1-positional-argument-but-2-were-given TypeError: method() takes 1 positional argu..
python error: The "freeze_support()" line can be omitted if the program is not going to be frozen to produce an executable.
·
Error code 모음/4. Python errors
위 에러는 multiprocessing 을 실행할 때, if __name__ == '__main__': 과 freeze_support( ) 를 사용하지 않고 실행했을 때 나타나는 에러이다. 우선 if __name__ == '__main__' 의 경우에는 이미 실행된 함수가 다른 객체에 할당되어 실행될때, 이전의 내용과 중복되어 실행되는 것을 막아주는 기능을 하는데 중복/반복을 막아 자원이 중복 사용되는 것을 막아주는 함수이다. 그리고 freeze_support( ) 의 경우에는 파이썬 multiprocessing 이 윈도우에서 실행될 경우, 자원이 부족할 경우를 대비해 파일 실행을 위한 자원을 추가해주는 역할을 하는 함수이다 그리고 효율 적인 자원 사용과 중복 방지를 위하여 if __name__ =='_..
프로젝트 주의 사항3: cloudera 설치 후 발생할 수 있는 문제들 정리1 : DNS 문제, 구성(메모리 할당) 문제
·
Error code 모음/2. Hadoop errors
클라우데라의 문제는 색깔 기준으로 2개로 섹션이 나뉜다. 우선 구성에 들어가 해결할 수 있는 문제들을 해결한다. 1. 빨간색(모든 상태 문제) - DNS 문제(DNS 관련 문제 가 있다고 계속 뜸) allias 로 기입을 했지만, allias 를 통한 노드 이름을 식별하지 못하는 것이기 때문에 나타나는 문제이다 이럴때는 putty 로 연결되어 있는 노드들에 들어가 노드의 이름을 allias 에서 본래 이름으로 바꾸어 준다. 그 이후에, cloudera-scm-agent / server / server-db 등을 다시 시작해 준다음에 재 로그인해주면 된다. 참고로, ssh 를 써주면 node1 에서 node2로 잠시 접속을 갈아타 일일히 가상환경을 키지 않아도 노드들의 이름을 바꾸어 줄 수가 있으므로 편하..
python error L “TypeError: __str__ returned non-string” but still prints to output?
·
Error code 모음/4. Python errors
__str__ 는 특수 메서드 중 하나입니다. class Element(): def __init__(self, name, symbol, number): self.name = name self.symbol = symbol self.number = number def __str__(self): print("name:{0} symbole:{1} number:{2}".format(self.name, self.symbol, self.number)) 특수 메서드는 print 가 아닌 return 으로 값을 받아줘야 에러없이 출력이 되는데 위 에어는 print( ) 로 값을 받아서 생긴 에러였네요 print( ) --> return 으로 해야합니다. class Element(): def __init__(self, n..