[면접준비] EFK와 ELK - Logstash와 Fluentd (24/06/11)

ELK와 EFK

둘 모두 Elasticsearch와 Kibana라는 툴을 사용하는 데이터  수집 및 시각화 스택을 의미한다.
차이는 Logstash를 사용하는가 Fluentd를 사용하는가에 따라 갈린다.

 

Elasticsearch: 분산형 RESTful 검색 및 분석 엔진으로, 로그 데이터를 저장하고 검색한다.
Kibana: Elasticsearch에 저장된 데이터를 시각화하고 분석할 수 있는 웹 인터페이스이다.

 

Logstash

• Elastic Stack에서 로그 수집, 가공, 전송을 담당하는 오픈소스 데이터 파이프라인.
• 다양한 소스(파일, syslog, Redis 등)로부터 로그를 수집하고, 다양한 필터를 통해 로그를 가공할 수 있다.
• 장점 : 강력한 이벤트 처리 및 필터링 기능, 다양한 입출력 플러그인, Elasticsearch와의 긴밀한 통합
• 단점 : 자바 기반으로 메모리 사용량이 높고 리소스 집약적, 복잡한 설정, 확장성 부족

Fluentd

• 클라우드 환경에 적합한 경량 로그 수집기로 개발. Logstash 대신 사용.
• 리소스 사용량이 적고 확장성이 뛰어나며, 설정이 간단하고 다양한 플러그인을 지원.
• 장점 : 경량, 높은 성능과 확장성, 단순한 설정, 풍부한 플러그인 생태계, 클라우드 네이티브함.
• 단점 : 이벤트 처리 및 필터링 기능이 Logstash에 비해 다소 제한적일 수 있음.

 

Logstash vs Fluentd

 

• 대규모 분산 환경, 클라우드 네이티브 아키텍처에서는 Fluentd가 적합합니다.
• 복잡한 로그 필터링/가공 작업이 필요한 경우 Logstash가 유리합니다.
• 단순한 로그 수집/전송 작업에는 Fluentd가 리소스 효율적입니다.
• Logstash는 Elastic 제품들과의 통합이 원활하지만, Fluentd는 다양한 플러그인으로 타 솔루션과도 잘 연동됩니다.

간단한 로그 수집과 클라우드 환경에서는 Fluentd, 복잡한 이벤트 처리와 Elastic 스택 환경에서는 Logstash를 선호할 수 있습니다. 또한 Fluentd는 점점 Logstash를 대체하고 있다고 한다.