쟈누이의 기록습관

- cpu 를 1개로 설정할 것은 processors 에서 cpu 를 2개로 설정하니 해결함 - 아래 링크 참고 해서 해결할 것 https://sosopro.tistory.com/190 [버추얼박스] 우분투 설치실패 kernel panic not syncing 버추얼박스에 우분투를 설치하는데 아래와 같은 에러메세지가 발생해서 설치가 안되는 경우 해결방법입니다. kernel panic not syncing : Attempted to kill the idle task. I got this error while plugging Ubuntu virtual ma sosopro.tistory.com

1. 발생 원인 - ambari host 가 DB에 접속해서 정보를 업데이트 하려고 할 때 접속이 잘 되지 않아서 발생하는 에러 2. 해결 방법 - 심각한 에러는 아님 - 간혹 오랜시간동안 위 에러가 발생한다면 아래의 명령으로 ambari 를 다시 껐다가 킬 것 ambari-server stop ambari-server start 3. 참고 링크 https://community.cloudera.com/t5/Support-Questions/Unable-to-lookup-the-cluster-by-ID-Error-in-Ambari-quot/td-p/213096 Unable to lookup the cluster by ID Error in Ambari "confirm Hosts" step While perfo..

1. 스파크란 스파크는 빅데이터 처리를 위한 고속 분산 처리 엔진 대부분의 회사가 쓰고 있음 빅데이터 문제란? - 데이터의 크기가 증가 - 데이터가 생성되는 속도의 증가 - 데이터의 증가 2. 스파크의 특징

1. Apache Bigtop Ambari 사용 이유 이번에 BigTop Ambari Hadoop 을 사용할 기회가 생김 CDP / HDP 가 2년전부터 막혀있기 때문에 선택 아직은 프로젝트가 미성숙해서 안되는 부분들이 많기는 하지만 클라우데라, 호튼웍스 하둡 패키지 처럼 한번에 간단하게 설치/관리/모니터링 이 가능하다는 장점이 있음 하지만, NameNode HA 구성, Ubuntu 에 암바리 패키지가 설치가 안된다는 단점이 있음..(해당 내용은 계속 파악중..) 본 작업은 centos 7.9 에서 진행을했으며, ubuntu 를 이용해 설치할 경우 ambari-pkg 세팅때 에러가 나서 설치가 안되었다.. 2. 설치 전 설정 1. 네트워크 설정 Step 1. Hostname : localhost 이외 다..

아래 링크를 참고해서 해결할 것 https://phoenixnap.com/kb/ssh-permission-denied-publickey How to Fix SSH Failed Permission Denied (publickey,gssapi-keyex,gssapi-with-mic) The SSH Permission Denied (publickey,gssapi-keyex,gssapi-with-mic) appears on SSH login. This tutorial features the steps to fix the error. phoenixnap.com

1. 원인 - 파이썬에서 parquet 파일을 열려고 시도 - import parquet 를 하려는데 모듈이 없음 - 리눅스에서 pip3 install parquet 하려는데 gcc 가 없어서 설치를 못한다는 에러가 뜸 2. 해결 방법 - 이전부터 pyarrow 를 통해서 parquet 타입을 열 수 있도록 만들었음.. pip3 install pyarrow --- from pyarrow import parquet

요즈음 새로운 회사에서 하둡을 주로 만지고 있다. SI 회사이다 보니 데엔이외의 업무를 하고 있을때도 있지만 되도록이면 일관성있게 데엔의 업무를 하려고 한다. 있는 동안은 데엔으로서 부족했던 경험을 많이 채우고 나가고자한다.. 최근 노션에 기록을 하고있어서..블로그에 소홀한데.. 노션에 있는 내용들을 블로그에 옮기는 작업도 다시 시작하자..

1. 원인 현재 yum 에서 특정 프로세스를 사용하고 있어서 나타나는 에러 2. 해결 방법 아래 참고 링크의 2번을 참고하여 yum.pid 파일을 제거함 3. 참고 링크 https://bono915.tistory.com/entry/Linux-%EB%A6%AC%EB%88%85%EC%8A%A4-yum-%EC%98%A4%EB%A5%98-Another-app-is-currently-holding-the-yum-lock-waiting-for-it-to-exit. [Linux] 리눅스 yum 오류 Another app is currently holding the yum lock; waiting for it to exit... 리눅스(Linux)에서 yum을 실행하다 보면 아래 그림과 같은 오류가 날때가 있습니다. ..

1. 개요 맥북에서 파이스파크를 설치하고 실행하려고 했을 때 위와 같은 에러가 나타났다 2. 원인 hostname 이 등록되어 있지 않아서 나타난 에러였다. vi /etc/hosts 를 해서 내 호스트 네임을 등록해주면 된다. 3. 참고 링크 https://itholic.github.io/etc-sparkdriver-retires-err/ [spark] Service ‘sparkDriver’ failed after 16 retries (on a random free port)! 오류 Spark Service ‘sparkDriver’ failed after 16 retries (on a random free port)! 오류 해결 itholic.github.io

예전에 자바 class 파일을 보려면 힘들었는데.. 이거 java decompiler 괜찮은 것 같다 아래 링크 가면 다운받을 수 있고 자세한 사용방법은 두번째 링크를 참고하자 1. 다운로드 위치 http://java-decompiler.github.io/#jd-gui-download Java Decompiler The “Java Decompiler project” aims to develop tools in order to decompile and analyze Java 5 “byte code” and the later versions. JD-GUI is a standalone graphical utility that displays Java source codes of “.class” files. Y..