1. 스파크란 스파크는 통합 컴퓨팅 엔진이며, 클러스터 환경에서 데이터를 병렬로 처리하는 라이브러리 집합. 널리 쓰이는 언어(파이썬, 자바,스칼라,R) 을 지원하며 SQL 뿐만 아니라 스트리밍, 머신러닝에 이르기까지 넓은 범위의 라이브러리를 제공한다. 2. 스파크의 특징 HDFS 사용 – 하둡의 파일시스템 기반 동작 직관적 이해 – 스칼라 기반 최소화 코드로 작성 RDD – RDD 단위로 데이터 연산을 수행 3. 스파크 철학 1) 통합 간단한 데이터 읽기부터 SQL 처리, 머신러닝 그리고 스트림 처리에 이르기까지 다양한 데이터 분석작업을 같은 연산 엔진과 일관성있는 API 로 수행할 수 있도록 설계. 2) 컴퓨팅 엔진 통합관점의 중시하면서 기능의 범위를 컴퓨팅 엔진으로 제한, 그 결과 저장소 시스템의 데..

1. 개요 추후 회사 프로젝트에 대비해 NiFi 사용법에 대해 공부중이다. 공부하면서 익힌 부분들을 추후 다시 복습하기 위해 블로그에 남겨본다. 우선 앞의 과정을 통해 NiFi 를 설치했다는 가정 하에 진행한다. 그리고 전체적인 튜토리얼 진행은 kwangsiklee 님의 블로그 에서 발췌한 내용의 흐름을 따라가고 있으며, 발생한 상황에 따라 일부를 좀 더 추가해 보강했다. 2. NiFi 테스트 NiFi에서 이벤트를 받아 Flow File 을 생성하는 모습을 확인한다. Tailing 프로세스를 만들어 실제 Tailing 된 Flow File 을 볼 예정이다 1) Processor 추가하기 특정 파일 Tailing 을 위해 TagFile 프로세스를 추가한다. nifi의 경우 특정 프로세스를 만들고 싶은 경우..