Data Engineering/오픈 소스 기록

[ELK] ELK 에 대한 간단한 정리

쟈누이 2022. 2. 3. 18:34
반응형

 

 

1. ELK 란?


  • Elasticsearch, Logstash, Kibana의 세 가지 인기 있는 프로젝트로 구성된 스택을 의미하는 약어
  • 사용자에게 모든 시스템과 애플리케이션에서 로그를 집계하고
  • 이를 분석하며
  • 애플리케이션과 인프라 모니터링 시각화를 생성하고,
  • 빠르게 문제를 해결하며 보안 분석할 수 있는 능력을 제공

 

 

 

1) E = Elasticsearch
Elasticsearch는 Apache Lucene에 구축되어 배포된 검색 및 분석 엔진이며, 다양한 언어를 지원하고 고성능에 스키마가 없는 JSON 문서로 Elasticsearch는 다양한 로그 분석과 검색 사용됨

 

2) L = Logstash
Logstash는 다양한 소스로부터 데이터를 수집하고 전환하여 원하는 대상에 전송할 수 있도록 하는 오픈 소스 데이터 수집 도구

사전 구축된 필터와 200개가 넘은 플러그인에 대한 지원으로 Logstash는 사용자가 데이터 원본이나 유형에 관계없이 데이터를 쉽게 수집할 수 있도록 도와줌

 

3) K = Kibana
Kibana는 로그 및 이벤트 검토에 사용하는 데이터 시각화 및 탐색 도구

Kibana는 사용하기 쉽고 대화형 차트와 사전 구축된 집계 및 필터, 지리 공간적 지원을 제공하고 이를 사용해 Elasticsearch에 저장된 데이터를 시각화할 때 원하는 선택을 할 수 있음

 

 

 

 

 

2. 장점


1) 접근성 & 사용성

  • ELK는 오픈소스를 내려받아 설치하는 것으로 구축이 완료된다.
    그 외의 별도의 추가적인 개발 과정이 필요없기 때문에 접근성이 뛰어나다.
    또 그 사용이 다른 유사 시스템들에 비해 쉬운 편이다.

2) 속도

  • ELK중 데이터 보관 및 분석 역할을 담당하는 Elasticsearch는 거의 실시간 (Real-Time)에 가깝게 데이터를 처리할 수 있다

3) 유연성

  •  각자의 기능을 담당하는 세가지의 모듈은 붙여서 만든다. 그렇기 때문에 그 기능만 담당할 수 있다면 얼마든지 모듈을 유연하게 변경할 수 있다. 예를 들어서, 굳이 Logstash를 쓰지 않아도 데이터 수집 역할만 할 수 있다면 경우에 따라 다른걸로 대체가 가능하다.

 

 

 

3.  참고 링크


https://aws.amazon.com/ko/opensearch-service/the-elk-stack/

 

ELK 스택

Apache 2.0 라이선스 버전의 Elasticsearch 및 Kibana(7.10.2 버전까지)에 직접 ELK 스택을 배포하고 관리하거나, ELK 스택의 오픈 소스 대안으로 OpenSearch, OpenSearch 대시보드 및 Logstash를 자체 관리할 수 있습

aws.amazon.com

 

 

반응형