간혹 컴퓨터를 비정상적으로 끝낸 경우... 하둡, 클라우데라가 설치되어 있는 리눅스 서버에 safe mode 가 걸려 서비스들을 실행하지 못할 수도 있다.. 그럴 경우 다른 하둡 관련 서비스(하이브..등) 을 실행할 경우에는 아래 이미지와 같은 에러가 뜰 수 있는데 이럴 경우 아래 명령어를 통해서 safemode 를 해제해주어야만 한다. sudo -u hdfs hdfs dfsadmin -safemode leave 아래링크를 참고하자 https://community.cloudera.com/t5/Support-Questions/Exercise-1-Name-node-in-safe-mode-Error/m-p/78994#M3471 Re: Exercise 1: Name node in safe mode Error A..

제너레이터(Generator)는 파이썬의 시퀀스를 생성하는 객체이다. 제너레이터로 전체 시퀀스를 한번에 메모리에 생성하고 정렬할 필요 없이, 잠재적으로 아주 큰 시퀀스(예를 들면 range 등..)을 순회할 수 있다. def rangess(first = 0, last = 100, step = 1): number = 0 while number > rangers = rangess(1,20) >> rangers 이 개념에 대해서 보았을 때는 아무리 쳐도 의 말이 나와서 어떤 것을 저장한다는지 이해가 잘 되지 않았었는데.. 다시 보고 이해가 되지 않는 것들을 찾아보았다. 왜, 값을 리턴하지 않고 객체가 나오지..?라는 의문이 가시지를 않아 계속 찾아보고 있었는데, 때마침 제너레이터에 대해서 잘 정리해준 글을 올..

하둡을 설치하고 이 에러가 뜨면 진짜 화가..후.. 다시 하둡이 설치가 되어 있는지를 확인해도 하둡은 잘 설치가 되어있다? 그러면 처음에 하둡 실행을 위해 기입한 환경설정한 부분 /etc/profile 부분에서 무엇인가 기입이 하나 안되어 있을 가능성이 크다 이 부분은 /etc/profile 부분에서 처음에 기입해준 hadoop 과 java 관련 경로가 제대로 들어갔는지 확인이 필요하다

파일 질라를 오랜만에 사용해서 대부분 까먹었었다... 우선, 파일질라를 설치해준다(아래 링크를 따라가서 설치하면된다) https://filezilla-project.org/download.php?platform=win64 Download FileZilla Client for Windows (64bit) Download FileZilla Client for Windows (64bit) The latest stable version of FileZilla Client is 3.47.2.1 Please select the file appropriate for your platform below. Please select your edition of FileZilla Client FileZilla FileZil..

pssh 를 이용하여 java 를 설치하려고 봤더니 자꾸 이런 에러가 나타나서 봤더니... 해당 에러는 주로 yum 을 사용할 때 나타나는 에러이다.. 잘 나타나지는 않지만.. 간혹 새로 리눅스를 설치했을 때 Cent OS 계열의 리눅스에서 나타나는 애러라고 한다.. 위 에러가 나타났을 때, yum repo를 확인 할 경우 아래 이미지와 같이 나타날 것이다. 위 에러는 yum 이 base repository 에 접속 할수 없을 때 나타나는 에러이다. 위 에러가 나타나는 경우는 두가지이다 1. 네트워크 이슈 2. yum repository에서 실행되는 configuration file 에 base URL 의 문제 인데.. 처음에 DNS 서버를 잘못 설정하면 YUM 관련 에러가 나타날 수 있다. 거의 네트워..

PSSH PSSH는 parallel-ssh의 약자로 똑같은 파일의 복사나 명령어 실행을 다수의 리눅스기반 노드에서 실행해야할 경우 사용한다. Python을 기반으로 만들어졌다. --> 파이썬을 무조건 PSSH 설치되어 있는 경로에 깔아줘야 하는 이유 주요 옵션 -i : 결과 출력 -x : ssh 명령어 옵션 -h : 호스트 파일 불러오기 -ㅣ: 사용자 이름 입력 -A : 패스워드 입력 -O : ssh config 명령어 옵션 -H : 목적지 주소 기재(ip, hostname, domain 입력), 2개 이상의 서버에 명령할 경우 띄어쓰기 사용 예시 [root@namenode1~ ]# pscp -h ~/hosts.txt /etc/hosts /etc/hosts - /etc/hosts 파일을 관리 서버를 제외..

자바를 설치하는 방법은 의외로 쉽다. 하단 블로그의 링크를 통해 보면서 설치하면 설치하기가 한결 수월할 것이다 https://wwst.tistory.com/96 [Java 자바 설치방법] jdk다운 환경변수설정, jdk 정상설치확인, 이클립스 다운 안녕하세요. 이번에는 컴퓨터에 자바 설치하기 포스팅입니다. 일단 JDK를 다운 후 컴퓨터에 java를 설치하고 자바가 정상설치가 됐는지 확인한 후 , 에디터는 이클립스를 다운받아 실행합니다. 1. 우선 오라클 홈.. wwst.tistory.com 참고로 설치 후에는 cmd 창을 통해 javac, java, java -version 명령어를 통해 JAVA 가 제대로 설치가 되었는지 확인해야된다. 내가 알고 있기로는 javac 의 경우 JAVA compilier ..

서버 연결 문제 보통 클라우데라의 경우에는 5~10분정도 기다려야 로그인 창이 뜨긴한다.. 왜 그런지는 모르겠지만.. 하지만 10분이 지났는데도 안되면.. 리눅스 서버 내에 깔려 있는 클라우데라가 문제가 있을 수 있으므로 다시 시작해 주는 것이 좋다 1. systemctl stop cloudera-scm-agent - 노드 1에서 실행(cloudera 가 깔려 있는 노드!!) 2. pscp -h ~/hosts.txt systemctl stop cloudera-scm-agent -> 여기서 pscp 는 연결된 다른 가상환경의 노드들에게 같은 명령어를 뿌리게 해주는 리눅스만의 명령어 -> 모든 서버의 cloudera-scm-agent 들을 전부 꺼준다 3. systemctl stop cloudera-scm-..

해당 에러는 파이썬에서 나타나는 전달된 인자 갯수와 관련된 에러타입이다 함수는 위치 인자를 1개 취하는데, 이 개수보다 많은 인자가 위치 인자로 전달되었거나, 특정하게 지정되지 않은 인자가 전달되지 않았을 때 나타나는 에러이다. 이 상황은 주로 2가지 상황에서 나타나는 것 같은데.. 첫번째는 class 함수에 self 가 들어가지 않았을 때 위 첫번재 에러의 경우에는 아직 코드로 구현을 하지 않아서 . 나중에 참고하기 위해 링크를 남겨둔다 https://stackoverflow.com/questions/23944657/typeerror-method-takes-1-positional-argument-but-2-were-given TypeError: method() takes 1 positional argu..

위 에러는 multiprocessing 을 실행할 때, if __name__ == '__main__': 과 freeze_support( ) 를 사용하지 않고 실행했을 때 나타나는 에러이다. 우선 if __name__ == '__main__' 의 경우에는 이미 실행된 함수가 다른 객체에 할당되어 실행될때, 이전의 내용과 중복되어 실행되는 것을 막아주는 기능을 하는데 중복/반복을 막아 자원이 중복 사용되는 것을 막아주는 함수이다. 그리고 freeze_support( ) 의 경우에는 파이썬 multiprocessing 이 윈도우에서 실행될 경우, 자원이 부족할 경우를 대비해 파일 실행을 위한 자원을 추가해주는 역할을 하는 함수이다 그리고 효율 적인 자원 사용과 중복 방지를 위하여 if __name__ =='_..