쟈누이의 기록습관

1. 아파치 플럼이란? 오픈 소스 프로젝트로 개발된 로그 데이터 수집 기술 여러 서버에 산재해 있는 로그들을 하나의 로그 수집서버로 효과적으로 수집 스트리밍 지향의 데이터 플로우를 기반 로그를 수집하여 중앙 저장소에 적재하여 분석하는 시스템 구축할 때 적합 단순하고 유연한 구조로 다양한 유형의 스트리밍 데이터 플로우 아키텍처 구성 가능 Flume 사용으로 신뢰성, 규모 확장성 및 기능확장성 확보 가능 장애시에도 수집된 로그 유실을 방지 가능 Scale-up / Scale-out 방식의 확장을 모두 지원 새로운 기능을 쉽게 커스터마이징 할 수 있음 2. 플럼의 구성요소 1) 소스(Source) 외부 데이터 소스에 설치되는 에이전트 다양한 원천 시스템의 데이터를 수집하기 위해 Avro, Thrift, JMS..

1. 에러의 원인 클라우데라 커뮤니티에서 찾은 답에 따르면 아래와 같다 '/user/' 디렉토리는 755 퍼미션을 가진 hdfs 소유인데, 이 퍼미션 덕분에 hdfs 는 오직 쓰기만이 가능하다. 유닉스/리눅스와 달리 hdfs 는 superuser 이지만 root 권한을 가진 계정이 아니다. 그래서 우리는 아래와 같이 명령어를 쳐줘야 한다. 여기서 주목해야될 점은 superuser 이지만 'root 계정이 아니다'인 것 같다. 2. 해결 방법 sudo -u hdfs hadoop fs ... 로 시작하는 명령어로 hdfs 슈퍼유저에게 sudo 권한으로 root 권한을 주어 경로를 생성하게 만드는 것이다 (이것은 하나의 예시이다) 3. 참고 링크 https://community.cloudera.com/t5/S..

하둡용 역할(Role)기반 허가(Authorization) 모듈로 하둡 클러스터 내에서 인증된 사용자와 애플리케이션에게 하둡내 저장보관되어 있는 데이터에 대한 권한 제어 기능을 제공하는 서비스이다 현재 Sentry는 Apache Hive, Hive Metastore/HCatalog, Apache Solr, Impla 및 HDFS(Hive 테이블 데이터 파일에 대해서만 제한적으로 지원)과 같은 에코시스템에 대한 권한 모듈 및 하둡 내의 다양한 유형의 데이터 모델에 대한 권한 기능을 제공한다. Sentry가 보초병이란 의미가 있듯이, 하둡 내의 서비스들에 대한 권한을 설정하고 이를 통한 전반적인 보안/인증 절차를 담당하는 서비스라고 보면 될 것 같다. 참고 링크: https://imp51.tistory.co..