[TIL] ELK와 EFK

ELK란?

ELK는 3가지 오픈소스 소프트웨어 Elasticsearch, Logstash, Kibana의 조합을 말한다.

각 소프트웨어가 연동되어 데이터 수집 및 분석 툴로서 동작한다.

높은 확장성과 뛰어난 이식성을 가지고 있어 다른 여러가지 툴과 연동이 가능하다.

 

Logstash

수집할 로그를 선정해서 지정된 대상 서버에 인덱싱해서 전송하는 역할을 담당한다.

다양한 플러그인을 제공하여 여러 유형의 로그 수집 및 인덱싱이 가능하다.

여러 소스의 데이터를 동시에 가져와 변환한 후 Elasticsearch와 같은 stash로 보내는 서버 측 데이터 처리 파이프라인이라고 보면 된다.

 

Elasticsearch

Elasticsearch는 Apache Lucene( 아파치 루씬 ) 기반의 Java 오픈소스 분산 검색 엔진으로 Logstash를 통해 수신된 데이터를 저장소에 저장하는 역할을 담당한다.

방대한 양의 데이터를 거의 실시간(NRT, Near Real Time)으로 저장, 검색, 분석할 수 있다.

 

Kibana

사용자에게 분석 결과를 가시적으로 보여주기 위한 목적으로 만들어진 소프트웨어이다.

Elasticsearch에서 차트와 그래프로 데이터를 시각화할 수 있다.

 

 

EFK란?

Collector를 Logstash가 아닌 Fluentd를 사용하는 경우 EFK가 된다.

 

 

Fluentd

로그(데이터) 수집기이다. 보통 로그를 수집하는데 사용하지만, 다양한 데이터 소스(HTTP, TCP 등)로부터 데이터를 받아올 수 있다.

자바 런타임이 필요하지 않은 CRuby로 사용한다.

Logstash에 비해 메모리를 적게 사용하고 메시지 손실이 없다고 알려져 있다.

 

 

참고

https://sarc.io/index.php/miscellaneous/2121-elk-efk-elk-vs-efk

ELK와 EFK 비교 (ELK vs EFK)

https://kim-dragon.tistory.com/20

ELK(ElasticSearch, Logstash, Kibana) 란? ELK Stack 이란?

https://victorydntmd.tistory.com/308

[Elasticsearch] 기본 개념잡기

https://smoh.tistory.com/365

LogStash vs Fluentd - 어떤 것을 선택해야 할까