쟈누이의 기록습관

1. 개요 NiFi 에 대해서 잘 파악하려면 NiFi 의 대체재들과 경쟁자들에 대해서 어느정도는 숙지를 하고 있는 것이 좋을 것 같다. 지금까지 NiFi 에 대해 공부하면서 NiFi 는 하나의 이벤트 스케쥴러 같다는 것이다. 아래의 특징은 G2.com 에서 각 플랫폼에 대한 리뷰와 정보를 참고하여 정리했다. 순위는 이 부분을 클릭하면 된다 2. Altanative & Competitors #1 snaplogic Intelligent Integration Platform(IIP) 어플리케이션 또는 데이터 소스 빌드를 위한 통합 구성요소의 모듈러 컬렉션 self-service-integration 분야의 선두를 달리고 있음 어플리케이션, 데이터, APIs 간의 년결을 쉽고 빠르게 만들어주는 플랫폼을 지향 어..

1. 개요 Json 파일을 CSV 파일로 변환하여 특정 경로에 저장하는 프로세스를 기록하고자 한다. 이전 게시물에서 사용했던 프로세서와 일부 외부에서 일부 내용을 참고했다. 전체적인 프로세스는 아래 이미지와 같다 2. JSON to CSV 1) 파일 가져오기 GetFile 프로세서는 특정 경로에 있는 파일을 가져오는 프로세서이다. 환경설정에 들어가서 properties 를 클릭하면 input directory 라는 property 에 input 하고자 하는 파일들이 있는 경로를 지정해주면 알아서 파일을 가져온다 2) split json (json 파일 분할하기) 이번에 사용한 json 파일의 내용은 아래와 같다 { "person":[ { "name": "Bob", "age": "16", "employed..

1. 개요 이번에는 외부 API 를 추출하고 난 다음에 MySQL 에 넣어보는 사례를 기록하고자 한다. REST API를 불러와서 -> json형식으로 변환 -> 데이터베이스에 삽입 의 프로세스이다 전체적인 경로는 아래 이미지와 같다. 2. 외부 API -> MySQL 순서 이번 API 는 항공기 관련 정보들이 있는 aviationstack 에서 가져왔으며, url 은 아래와 같다 aviationstack.com/ aviationstack - Real-Time Flight Tracker & Status API Free, Real-time Flight Status & Global Aviation Data API Flight tracker & airport timetable data web service t..

1. 개요 기본적인 튜토리얼에서 벗어나 NiFi 를 통해 좀 더 심화된 프로세스를 구축하는 연습을 하기위해 해당 포스팅을 작성했다. 추후 NiFi 를 사용할 일이 있을 때, 해당 포스팅을 참고하여 연습해야겠다. 완성된 직후, 전체적인 프로세스는 아래와 같다. 리눅스에 있는 편집한 csv 파일을 읽어들인 후에 json 형태로 변형시키고 나서 MySql 에 저장하는 프로세스이다. 2. 리눅스 -> MySql 프로세스 순서 우선, 해당 포스트는 리눅스 서버에 MySql 을 설치했다는 가정하에 시작한다. 리눅스 버전은 Cent OS 7 을 사용했으며, MySql 로는 MySql 8 버전을 사용했다. 1) 데이터를 리눅스 서버에 넣고 mysql 에 데이터 베이스와 테이블을 생성한다. 실습을 위해 필요한 데이터를 ..

1. 개요 추후 회사 프로젝트에 대비해 NiFi 사용법에 대해 공부중이다. 공부하면서 익힌 부분들을 추후 다시 복습하기 위해 블로그에 남겨본다. 우선 앞의 과정을 통해 NiFi 를 설치했다는 가정 하에 진행한다. 그리고 전체적인 튜토리얼 진행은 kwangsiklee 님의 블로그 에서 발췌한 내용의 흐름을 따라가고 있으며, 발생한 상황에 따라 일부를 좀 더 추가해 보강했다. 2. NiFi 테스트 NiFi에서 이벤트를 받아 Flow File 을 생성하는 모습을 확인한다. Tailing 프로세스를 만들어 실제 Tailing 된 Flow File 을 볼 예정이다 1) Processor 추가하기 특정 파일 Tailing 을 위해 TagFile 프로세스를 추가한다. nifi의 경우 특정 프로세스를 만들고 싶은 경우..

1. 개요 도커는 최근에 가장 많이 사용하고 있는 가상 컨테이너 기술이다. 도커를 하나 구성하고 그 안에 운영체제 등 여러가지 프로그램을 설치하고 각각 따로 돌리면서 필요에 따라 연계할 수 있기 때문에 NiFi 도 Docker 에 많이 설치하여 사용하고 있다. 2. 설치 방법 1) 도커를 설치한다 - 도커를 설치하는 방법은 아래 링크를 참고할 것 snepbnt.tistory.com/404 [Docker] 리눅스에 도커 설치하기 1. 개요 리눅스에 도커를 설치하는 방법을 기록하고자 한다. CentOS 7 을 사용했다. 2. 설치방법 1) 설치 전 리눅스 시스템을 업데이트 한다 $ yum -y update 만약에 Cannot find a valid 로 시작하는 에러가 나 snepbnt.tistory.com ..

1. 개요 NiFi 를 윈도우에 설치하는 것은 더더욱 쉽다. 2. 설치 ** 윈도우 환경에 NiFi 를 설치하기 위해선 JAVA 가 설치되어 있어야 한다. 추후 아래 링크를 통해서 설치 하자 ** snepbnt.tistory.com/41 JAVA 설치 방법 자바를 설치하는 방법은 의외로 쉽다. 하단 블로그의 링크를 통해 보면서 설치하면 설치하기가 한결 수월할 것이다 https://wwst.tistory.com/96 [Java 자바 설치방법] jdk다운 환경변수설정, jdk 정상설치 snepbnt.tistory.com 1) NiFi 설치 zip 파일을 다운로드 받는다 https://archive.apache.org/dist/nifi/1.11.3/nifi-1.11.3-bin.zip 정상적으로 다운로드가 된다..

1. 개요 이번에는 NiFi 를 리눅스에 설치하는 방법을 정리하고자 한다. 생각보다는 간단한 것 같다. 2. 설치방법 1) 설치 전 리눅스 시스템을 업데이트 한다 $ yum -y update 만약에 Cannot find a valid 로 시작하는 에러가 나면서 업데이트가 실행이 되지 않는다면, 리눅스 서버가 아직 외부와 연결이 되지 않은 고립된 상태이므로 아래 링크를 통해 에러를 해결할 수 있도록 하자 snepbnt.tistory.com/44 linux error : Cannot find a valid baseurl for repo: base/7/x86_64” pssh 를 이용하여 java 를 설치하려고 봤더니 자꾸 이런 에러가 나타나서 봤더니... 해당 에러는 주로 yum 을 사용할 때 나타나는 에러이..

1. NiFi 란? Apache NiFi는 시스템 간 데이터 전달을 효율적으로 처리, 관리, 모니터링 하기에 최적화된 시스템이다. 대량의 데이터를 수집, 처리하기 위해서 만들어졌다. Dataflow를 쉽게 개발할 수 있고, 시스템 간의 데이터 이동과 내용을 볼 수 있는 UI 제공 실시간 데이터 전송에 필요한 기능 제공 강력한 자원과 권한 관리를 통해 Multi-tenant(여러 조직이 자원을 공유해 사용하는 것) 지원 데이터가 어느 시스템으로부터 왔는지 추적 가능 오픈 소스 여러 NiFi 시스템 간 통신을 지원(site to site) NiFi는 프로세서를 이용해 수집, 변형, 저장을 여러 단계에 걸쳐서 할 수 있다. 실시간 처리에 장점을 가지고 있으며, 스케쥴러가 있지만 배치작업이 약하다는 단점이 존재..