쟈누이의 기록습관

1. 개요 이번에는 외부 API 를 추출하고 난 다음에 MySQL 에 넣어보는 사례를 기록하고자 한다. REST API를 불러와서 -> json형식으로 변환 -> 데이터베이스에 삽입 의 프로세스이다 전체적인 경로는 아래 이미지와 같다. 2. 외부 API -> MySQL 순서 이번 API 는 항공기 관련 정보들이 있는 aviationstack 에서 가져왔으며, url 은 아래와 같다 aviationstack.com/ aviationstack - Real-Time Flight Tracker & Status API Free, Real-time Flight Status & Global Aviation Data API Flight tracker & airport timetable data web service t..

1. 개요 도커는 최근에 가장 많이 사용하고 있는 가상 컨테이너 기술이다. 도커를 하나 구성하고 그 안에 운영체제 등 여러가지 프로그램을 설치하고 각각 따로 돌리면서 필요에 따라 연계할 수 있기 때문에 NiFi 도 Docker 에 많이 설치하여 사용하고 있다. 2. 설치 방법 1) 도커를 설치한다 - 도커를 설치하는 방법은 아래 링크를 참고할 것 snepbnt.tistory.com/404 [Docker] 리눅스에 도커 설치하기 1. 개요 리눅스에 도커를 설치하는 방법을 기록하고자 한다. CentOS 7 을 사용했다. 2. 설치방법 1) 설치 전 리눅스 시스템을 업데이트 한다 $ yum -y update 만약에 Cannot find a valid 로 시작하는 에러가 나 snepbnt.tistory.com ..

1. 개요 NiFi 를 윈도우에 설치하는 것은 더더욱 쉽다. 2. 설치 ** 윈도우 환경에 NiFi 를 설치하기 위해선 JAVA 가 설치되어 있어야 한다. 추후 아래 링크를 통해서 설치 하자 ** snepbnt.tistory.com/41 JAVA 설치 방법 자바를 설치하는 방법은 의외로 쉽다. 하단 블로그의 링크를 통해 보면서 설치하면 설치하기가 한결 수월할 것이다 https://wwst.tistory.com/96 [Java 자바 설치방법] jdk다운 환경변수설정, jdk 정상설치 snepbnt.tistory.com 1) NiFi 설치 zip 파일을 다운로드 받는다 https://archive.apache.org/dist/nifi/1.11.3/nifi-1.11.3-bin.zip 정상적으로 다운로드가 된다..

1. NiFi 란? Apache NiFi는 시스템 간 데이터 전달을 효율적으로 처리, 관리, 모니터링 하기에 최적화된 시스템이다. 대량의 데이터를 수집, 처리하기 위해서 만들어졌다. Dataflow를 쉽게 개발할 수 있고, 시스템 간의 데이터 이동과 내용을 볼 수 있는 UI 제공 실시간 데이터 전송에 필요한 기능 제공 강력한 자원과 권한 관리를 통해 Multi-tenant(여러 조직이 자원을 공유해 사용하는 것) 지원 데이터가 어느 시스템으로부터 왔는지 추적 가능 오픈 소스 여러 NiFi 시스템 간 통신을 지원(site to site) NiFi는 프로세서를 이용해 수집, 변형, 저장을 여러 단계에 걸쳐서 할 수 있다. 실시간 처리에 장점을 가지고 있으며, 스케쥴러가 있지만 배치작업이 약하다는 단점이 존재..