쟈누이의 기록습관

하둡을 설치하고 이 에러가 뜨면 진짜 화가..후.. 다시 하둡이 설치가 되어 있는지를 확인해도 하둡은 잘 설치가 되어있다? 그러면 처음에 하둡 실행을 위해 기입한 환경설정한 부분 /etc/profile 부분에서 무엇인가 기입이 하나 안되어 있을 가능성이 크다 이 부분은 /etc/profile 부분에서 처음에 기입해준 hadoop 과 java 관련 경로가 제대로 들어갔는지 확인이 필요하다

파일 질라를 오랜만에 사용해서 대부분 까먹었었다... 우선, 파일질라를 설치해준다(아래 링크를 따라가서 설치하면된다) https://filezilla-project.org/download.php?platform=win64 Download FileZilla Client for Windows (64bit) Download FileZilla Client for Windows (64bit) The latest stable version of FileZilla Client is 3.47.2.1 Please select the file appropriate for your platform below. Please select your edition of FileZilla Client FileZilla FileZil..

pssh 를 이용하여 java 를 설치하려고 봤더니 자꾸 이런 에러가 나타나서 봤더니... 해당 에러는 주로 yum 을 사용할 때 나타나는 에러이다.. 잘 나타나지는 않지만.. 간혹 새로 리눅스를 설치했을 때 Cent OS 계열의 리눅스에서 나타나는 애러라고 한다.. 위 에러가 나타났을 때, yum repo를 확인 할 경우 아래 이미지와 같이 나타날 것이다. 위 에러는 yum 이 base repository 에 접속 할수 없을 때 나타나는 에러이다. 위 에러가 나타나는 경우는 두가지이다 1. 네트워크 이슈 2. yum repository에서 실행되는 configuration file 에 base URL 의 문제 인데.. 처음에 DNS 서버를 잘못 설정하면 YUM 관련 에러가 나타날 수 있다. 거의 네트워..

PSSH PSSH는 parallel-ssh의 약자로 똑같은 파일의 복사나 명령어 실행을 다수의 리눅스기반 노드에서 실행해야할 경우 사용한다. Python을 기반으로 만들어졌다. --> 파이썬을 무조건 PSSH 설치되어 있는 경로에 깔아줘야 하는 이유 주요 옵션 -i : 결과 출력 -x : ssh 명령어 옵션 -h : 호스트 파일 불러오기 -ㅣ: 사용자 이름 입력 -A : 패스워드 입력 -O : ssh config 명령어 옵션 -H : 목적지 주소 기재(ip, hostname, domain 입력), 2개 이상의 서버에 명령할 경우 띄어쓰기 사용 예시 [root@namenode1~ ]# pscp -h ~/hosts.txt /etc/hosts /etc/hosts - /etc/hosts 파일을 관리 서버를 제외..

자바를 설치하는 방법은 의외로 쉽다. 하단 블로그의 링크를 통해 보면서 설치하면 설치하기가 한결 수월할 것이다 https://wwst.tistory.com/96 [Java 자바 설치방법] jdk다운 환경변수설정, jdk 정상설치확인, 이클립스 다운 안녕하세요. 이번에는 컴퓨터에 자바 설치하기 포스팅입니다. 일단 JDK를 다운 후 컴퓨터에 java를 설치하고 자바가 정상설치가 됐는지 확인한 후 , 에디터는 이클립스를 다운받아 실행합니다. 1. 우선 오라클 홈.. wwst.tistory.com 참고로 설치 후에는 cmd 창을 통해 javac, java, java -version 명령어를 통해 JAVA 가 제대로 설치가 되었는지 확인해야된다. 내가 알고 있기로는 javac 의 경우 JAVA compilier ..

서버 연결 문제 보통 클라우데라의 경우에는 5~10분정도 기다려야 로그인 창이 뜨긴한다.. 왜 그런지는 모르겠지만.. 하지만 10분이 지났는데도 안되면.. 리눅스 서버 내에 깔려 있는 클라우데라가 문제가 있을 수 있으므로 다시 시작해 주는 것이 좋다 1. systemctl stop cloudera-scm-agent - 노드 1에서 실행(cloudera 가 깔려 있는 노드!!) 2. pscp -h ~/hosts.txt systemctl stop cloudera-scm-agent -> 여기서 pscp 는 연결된 다른 가상환경의 노드들에게 같은 명령어를 뿌리게 해주는 리눅스만의 명령어 -> 모든 서버의 cloudera-scm-agent 들을 전부 꺼준다 3. systemctl stop cloudera-scm-..

해당 에러는 파이썬에서 나타나는 전달된 인자 갯수와 관련된 에러타입이다 함수는 위치 인자를 1개 취하는데, 이 개수보다 많은 인자가 위치 인자로 전달되었거나, 특정하게 지정되지 않은 인자가 전달되지 않았을 때 나타나는 에러이다. 이 상황은 주로 2가지 상황에서 나타나는 것 같은데.. 첫번째는 class 함수에 self 가 들어가지 않았을 때 위 첫번재 에러의 경우에는 아직 코드로 구현을 하지 않아서 . 나중에 참고하기 위해 링크를 남겨둔다 https://stackoverflow.com/questions/23944657/typeerror-method-takes-1-positional-argument-but-2-were-given TypeError: method() takes 1 positional argu..

위 에러는 multiprocessing 을 실행할 때, if __name__ == '__main__': 과 freeze_support( ) 를 사용하지 않고 실행했을 때 나타나는 에러이다. 우선 if __name__ == '__main__' 의 경우에는 이미 실행된 함수가 다른 객체에 할당되어 실행될때, 이전의 내용과 중복되어 실행되는 것을 막아주는 기능을 하는데 중복/반복을 막아 자원이 중복 사용되는 것을 막아주는 함수이다. 그리고 freeze_support( ) 의 경우에는 파이썬 multiprocessing 이 윈도우에서 실행될 경우, 자원이 부족할 경우를 대비해 파일 실행을 위한 자원을 추가해주는 역할을 하는 함수이다 그리고 효율 적인 자원 사용과 중복 방지를 위하여 if __name__ =='_..

파이참만 쓰다가 여러가지로 불편한 점이 있어서 최근 VS 코드로 옮겼는데, 파이참에 익숙해져서 인지 여러므로 익숙해지는데 시간이 걸릴 것 같다. 자주 사용하는 단축키 우선 정리해두어야 겠다. 코드 실행 한꺼번에 실행하기 : Ctrl + F5( 디버깅의 기능도 있다) 한줄식 실행하기 : Ctrl + Enter (실행시키고 싶은 부분의 코드를 드래그한후 해당 키를 누르면 그 부분이 전체가 실행) 다른 파일로 옮기기 : Ctrl + F6 - 해당 코드를 실행시키면 다른 파일로 옮겨갈 수 있다 디버깅 : F10 - 디버깅은 시작파일로 등록된 파일만 계속 실행이 되기 때문에 이점이 좀 불편하다. - 파이참은.. 그냥 다 되었었는데.. 디버깅을 하려면 파일을 새로 만들고 그 파일을 바탕으로 계속 실행이 되므로 주의..

싱글 머신에서 다수의 작업을 가능한 한 빠르게 처리하고 싶을 때, 이들을 독립적으로 만들어 처리하는 작업 멀티 프로세싱을 활용하면 복잡하고 시간이 걸리는 작업을 벼롣의 프로세스를 생성 후 병렬처리해서 보다 빠른 응답처리 속도를 기대할 수 있는 장점이 있다. 최근들어 대용량의 빅데이터 분석 및 예측 등의 머신 러닝을 지원하는 다양한 패키지에서 대부분 멀티 프로세싱을 활용하여 멀티코어의 CPU의 장점을 극대화하고 빠른 처리를 지원하고 있다. 하지만, 멀티프로세싱은 오버해드의 증가 및 메모리 사용률이 높아지는 단점도 있다. 대표적인 파이썬의 multiprocessing 라이브러리는 Pool 객체가 있다. 아래 링크들을 통해 자세한 내용을 이해할 수가 있다. 첫번째 링크는 multiprocessing 에 대한 ..