쟈누이의 기록습관

이 둘의 차이는 새로 생성한 빈 리스트 안에 넣으려는 리스트들을 리스트 형태를 유지하면서 한꺼번에 넣어줄 것이냐, 아니면 기존의 빈 리스트에 변수로 하나하나씩 넣어주면서 빈 리스트를 확장시켜주는 것이냐로 차이를 지을 수 있을 것 같다. 영어 의미를 해석해보자면 extend 는 기존의 공간을 확장하는 느낌에 가깝고 append 는 공간에 새로운 것을 추가하는 느낌에 가깝기에 위의 차이점으로 쉽게 구분할 수 있을 것 같다. 참고 링크 : https://hashcode.co.kr/questions/23/%ED%8C%8C%EC%9D%B4%EC%8D%AC%EC%97%90-append%EC%99%80-extend%EC%9D%98-%EC%B0%A8%EC%9D%B4%EC%A0%90 파이썬에 append와 extend의..

import base64 Base64란 Binary Data를 Text로 바꾸는 Encoding(binary-to-text encoding schemes)의 하나로써 Binary Data를 Character set에 영향을 받지 않는 공통 ASCII 영역의 문자로만 이루어진 문자열로 바꾸는 Encoding이다. 라고 한다. 쉽게 말해서 Base64 Encoding은 Binary Data를 Text로 변경하는 Encoding이다. 참고 링크: https://effectivesquid.tistory.com/entry/Base64-%EC%9D%B8%EC%BD%94%EB%94%A9%EC%9D%B4%EB%9E%80 Base64 인코딩이란? 인코딩이란? Base64 인코딩에 대해 알아보기전에 먼저 인코딩이란게 무엇..

클라우데라를 공부하면서 이것 저것 에러를 많이 만난다..휴... 이번 에러의 경우에는 jdk 를 클라우데라 에서 설치하다가 일어났었는데.. 찾아보니깐..yum 에 문제가 있는 경우란다.. 근데 생각해 보니깐...yum이 문제가 일어나는 경우에는.. 1. 노드에서 설정한 ip 가 문제가 있거나 2. cache 때문에..이전 기록과 자꾸 충돌하는 경우인데.. 나의 경우에는 2번인줄알고 주구 장창..cache 를 삭제하고 진행을 했었지만..위의 에러가 뜨길래 보니.. 복제한 노드들 ip 설정을 제대로 안햇.....후..이런 기초적인 실수를..ㅠㅠ 우선 위 에러가 뜬 경우에는 첫번째로 내가 노드에 설정한 ip 들이 문제가 있나?? 살펴보고.. 그 다음 이상이 없다면 yum cache 들을 한번 청소해보자 아래 ..

introducing python redis 실습하고 있는데.. 소켓 서버가 접속이 안되서 봤더니.. ConnectionRefusedError: [WinError 10061] 대상 컴퓨터에서 연결을 거부했으므로 연결하지 못했습니다 라고 뜬다.. 구글링을 해보았더니..같은 idle 에서 실행해서라고.. 일단 시간 날때, 아래 링크 참고해서 진행해야 겠다. 참고 링크: http://blog.naver.com/PostView.nhn?blogId=jonghong0316&logNo=221690254323&categoryNo=17&parentCategoryNo=0&viewDate=¤tPage=1&postListTopCurrentPage=1&from=search [Python] ConnectionRefusedErro..

클라우데라 설치시, 노드 갯수에 대해 궁금했다. 책에서는 3개로 하고 있었지만.. 3개로 설치를 해보니..뭔가 충돌을 일으키는 것같아서.. 찾아봤더니.. 권장 최소 노드의 갯수는 4개.. main node 1개 data node 3개 총 4개이다.. 대충 보니깐..main 노드에 data 노드 일까지 병행시킬 경우..main 노드에 부담을 줄 수가 있어서 data 노드는 따로 분리하는 것이 좋단다.. 아래 링크 참고!! (틀린 점이 발견될 경우 댓글 부탁드립니다) 참고 링크: https://community.cloudera.com/t5/Support-Questions/node-limits-on-cloudera-manager-5-or-6/td-p/81731 node limits on cloudera man..

리눅스 서버에서 yum install 및 remove 를 하는 경우 종종 아래 의 메시지가 나온다.. Another app is currently holding the yum lock; 그리고 계속 같은 말만 반복... 이럴 경우에는 이 명령어를 사용한다 [root@node1 ~]#rm -rf /var/run/yum.pid 해결이 가능하다 아래 링크를 통해 해결할 수 있다. https://tisiphone.tistory.com/230 [YUM] Another app is currently holding the yum lock; 에러발생 시 조치방법 [YUM] Another app is currently holding the yum lock; 에러발생 시 조치방법 리눅스 서버에서 yum update 및 i..

이 문제의 경우 리눅스 서버의 호스트 이름과 클라우데라에서 인지하는 호스트 이름이 다를 때 발생한다. 나의 경우 hostnamectl set-hostname (호스트 이름) 에 실제 만들어준 호스트 이름을 썻어야 했는데, /etc/hosts 에 설정한 allias 로 사용해서 위 에러가 발생했다. 아래 링크들을 참고하면 쉽게 해결할 수 있다. https://min772a.tistory.com/3 [CDH] "Java 프로세스에서 검사한 이 호스트의 호스트 이름과 정식 이름이 동일하지 않습니다." CDH(Cloudera's Distribution for Hadoop - 클라우데라 하둡 배포판)을 설치할 때는 Cloudera manager를 사용하여 설치하면 큰 문제없이 설치가 가능하다. Cloudera m..

하둡용 역할(Role)기반 허가(Authorization) 모듈로 하둡 클러스터 내에서 인증된 사용자와 애플리케이션에게 하둡내 저장보관되어 있는 데이터에 대한 권한 제어 기능을 제공하는 서비스이다 현재 Sentry는 Apache Hive, Hive Metastore/HCatalog, Apache Solr, Impla 및 HDFS(Hive 테이블 데이터 파일에 대해서만 제한적으로 지원)과 같은 에코시스템에 대한 권한 모듈 및 하둡 내의 다양한 유형의 데이터 모델에 대한 권한 기능을 제공한다. Sentry가 보초병이란 의미가 있듯이, 하둡 내의 서비스들에 대한 권한을 설정하고 이를 통한 전반적인 보안/인증 절차를 담당하는 서비스라고 보면 될 것 같다. 참고 링크: https://imp51.tistory.co..

하둡이란? 분산 환경에서 빅 데이터를 저장하고 처리할 수 있는 자바 기반의 오픈 소스 프레임 워크이다. 빅데이터 인프라 기술 중에 하나로 분산처리를 통해 수많은 데이터를 저장하고 처리하는 기술이다. 왜 하둡을 쓰는가? 관계형 데이터베이스(RDBMS)는 데이터가 증가되면 데이터를 저장하거나 조회할 때 읽기, 쓰기 연산 수행에 제약 조건이 발생되어 서비스가 느려지는 현상이 발생하며, 새로운 업무가 추가되면 데이터베이스 내 데이터는 증가되고 결국 이를 해결하기 위해 하드웨어의 병렬 구성, CPU, 메모리, 네트워크 등 추가적인 인프라 구성을 필요로 하게되어 데이터 관리를 위한 경제적 비용이 계속적으로 증가하게 된다.. 처리해야할 데이터가 많아질수록 컴퓨터의 능력이 좋아져야 하지만, RDBMS 의 경우에는 데이..

해당 에러의 경우에는 쉘 스크립트를 실행할 때 발생할 수 있는 에러이다. 보통 쉘스크립트의 경우에는 리눅스의 bash 에디트 등을 사용해서 작성을 하지만.. 편의를 위해서 윈도우의 sublime text 등을 사용해서 작성하는 경우도 종종 있다고 한다. 이럴 때 발생하기 쉬운데.. 이를 해결하기 위해서 아래 링크를 참고해서 명령어를 써주면 좋다 $sed -i -e 's/\r$//' test.sh(만들었던 shell script 파일 이름 기입) 참고 링크 https://wrjeoung.tistory.com/34 [Linux] 윈도우 작성파일 리눅스에서 에러나는 경우 '\r': command not found Windows 에서 작성한 파일 리눅스에서 에러가 발생하는 경우 에러 메시지 '\r': comma..