[Linux] ELK를 이용한 RSYSLOG 데이터 시각화

안녕하세요. 주식회사 서버몬 입니다.

오늘은 RSYSLOG 서버를 구축하고 도커 컨테이너로 구성한

ELK를 이용하여 RSYSLOG 데이터를 시각화하는 방법을 알아보겠습니다.

 

구성 환경

현재 다른 서버로부터 RSYSLOG 데이터를 받고 있습니다.

docker compose를 사용하여 ELK Stack 구성 합니다.

rsyslog를 통해 전송된 로그를 Logstash가 수신하고, 

수신한 로그를 Elasticsearch에 저장한 후 Kibana에서 시각화 합니다.

 

 

Docker의 내용을 작성한 게시글은 아래 링크를 통해 확인 가능합니다.

https://servermon.tistory.com/255

[Linux] 도커 Docker 개념 및 구성 방법

 

 

Rsyslog의 내용을 작성한 게시글은 아래 링크를 통해 확인 가능합니다.

https://servermon.tistory.com/535

[Linux] 원격 시스템 로그 Rsyslog 구성

 

 

 

 

ELK Stack 란?

ELK Stack은 로그 데이터를 수집, 저장, 분석, 시각화하기 위한 도구

 

Elasticsearch

분산 검색 및 분석 엔진으로, 로그 데이터를 저장하고 검색합니다.

 

Logstash

데이터 처리 파이프라인으로, 다양한 소스에서 데이터를 수집하고

변환하여 Elasticsearch에 전송합니다.

 

Kibana

Elasticsearch에 저장된 데이터를 시각화하고 

탐색할 수 있는 웹 인터페이스입니다.

 

Docker, Rsyslog 설치 및 실행

#docker repo 추가
dnf -y config-manager --add-repo=https://download.docker.com/linux/centos/docker-ce.repo
#docker 설치
dnf -y install docker-ce docker-ce-cli containerd.io
#rsyslog 설치
dnf -y install rsyslog
#docker compose 설치
#docker를 설치할때 같이 설치되지만 설치가 안되어 있다면 수동으로 설치
dnf -y install docker-compose-plugin
#git clone 명령어로 git 저장소에 있는 docker-elk 프로젝트를 로컬로 복사합니다.
#docker-elk 프로젝트를 로컬에 저장하여 기본 설정은 되어있습니다.
git clone https://github.com/deviantony/docker-elk.git
#서비스 실행
systemctl start docker
systemctl enable docker
systemctl start rsyslog
systemctl enable rsyslog

 

방화벽 설정

#rsyslog port
firewall-cmd --permanent --zone=public --add-port=514/tcp
firewall-cmd --permanent --zone=public --add-port=514/udp
#elasticsearch port
firewall-cmd --permanent --zone=public --add-port=9200/tcp
#kibana port
firewall-cmd --permanent --zone=public --add-port=5601/tcp
#logstash port
firewall-cmd --permanent --zone=public --add-port=5044/tcp
#설정 적용 및 확인
firewall-cmd --reload
firewall-cmd --list-ports

 

rsyslog 파일 설정

#rsyslog conf파일 수정
vim /etc/rsyslog.conf
#UDP,TCP 통신을 위한 주석 제거
#32,33,37,38 line number 주석 제거
#logstash 통신을 위한 설정
*.* @@127.0.0.1:5044
# *.*=유형,등급
# @@ 로그 메시지를 TCP를 통해 통신 @=UDP @@=TCP
# 5044 logstash port
#설정 적용을 위한 서비스 재시작
systemctl restart rsyslog

 

ELK 설정

 

logstash 설정

#logstash.conf 파일 수정
#저는 opt 경로에 설치하였습니다.
vim /opt/docker-elk/logstash/pipeline/logstash.conf
#아래 내용 삽입 
input {
  tcp {
    port => 5044
    type => "rsyslog"
  }
}
filter { }
output {
  elasticsearch {
    hosts => ["elasticsearch:9200"]
    index => "rsyslog-%{+YYYY.MM.dd}"
  }
}
#rsyslog를 받아오고 elasticsearch로 전송하는 내용

 

 

Docker compose 실행

#docker compose 실행				
docker-compose up -d
#옵션
-d : 백그라운드에서 실행
-t : 컨테이너 타임아웃시간 설정
--no-deps : 링크된 서비스는 실행하지 않음
--no-build : 이미지를 빌드하지 않음
#명령어
up : 컨테이너를 생성 및 실행
ps : 컨테이너 목록 확인
logs : 컨테이너 로그 출력
start : 컨테이너를 실행
stop : 컨테이너를 중지
restart : 컨테이너를 재시작
kill : 실행중인 컨테이너를 강제 종료
rm : 컨테이너 삭제

 

 

elasticsearch 클러스터 실행 확인

웹 브라우저 -> http://localhost:9200 접속

 

 

kibana 로그 데이터 시각화 설정

 

kibana 접속

웹 브라우저 -> http://localhost:5601

 

 

index patterns 등록

(데이터 시각화를 위한 로그 데이터 패턴 등록)

Stack Management -> Data views -> Create data view 
index pattern 을  수집중인 로그 파일명에 맞춰 패턴 설정

 

 

로그 데이터 확인 및 Field 구성

Discover에 들어가면 수집한 로그 목록 확인 가능합니다.

Discover -> Data view를 생성한 rsyslog로 변경 
field 값의 로그 데이터 확인

 

 

데이터 시각화

Visualize Library에서 Field를 추가하여 그래프와 차트를 생성하여

로그 데이터를 시각화할 수 있습니다. 

Visualize Library에서 생성한 그래프,차트는 Dashboards에서 확인 가능합니다.

 

감사합니다.

 

 

 

 

 

 

 

1U서버 / 2U서버 / AI서버 / alyac / APC / APC UPS / backup / carepack / centos / chakramax / cuda / DAS / DB / DB서버 / defog / DEFOG랙 / dell5820 / dell5820t / dell7920 / dellpoweredge / dellr240 / dellr340 / dellr350 / dellr450 / dellr540 / dellr630 / dellr640 / dellr740 / dellr750 / dellserver / dellt40 / dellt440 / dellt5820 / dell서버 / DELL서버CPU / DELL서버RAID컨트롤러 / DELL서버SAS하드디스크 / DELL서버가격비교 / DELL서버가격비교견적 / DELL서버견적 / DELL서버구매 / DELL서버디스크교체 / DELL서버메모리 / dell서버서버몬 / DELL서버펌웨어 / DELL서버하드디스크구매 / dell옵션 / dell워크스테이션 / dl20 / dl20gen10 / dl20gen11 / dl360 / dl360gen10 / dl360gen11 / dl380 / dl380g10 / dl380gen10 / dl380gen11 / ECC메모리 / EDFOG랙가격 / embedded / est security / ESTSOFT / FIRMWARE / GPU / gpu서버 / gpu타워형서버 / greenlake / HA솔루션 / HP GPU / hp hdd / hpdl20 / HPDL20Gen10 / hpdl360 / hpdl360gen10 / hpdl380 / hpdl380g10 / HPDL380Gen10 / HPE / HPE GPU / hpe hdd / hpe rok / HPE Service Pack for Proliant / HPE SPP / hpe ssa / hpedl20 / hpedl20gen10 / hpedl360gen10 / hpe서버 / HPE서버CPU / HPE서버RAID컨트롤러 / HPE서버SAS하드디스크 / HPE서버가격비교 / HPE서버가격비교견적 / HPE서버견적 / HPE서버구매 / HPE서버드라이버설치 / HPE서버디스크교체 / HPE서버메모리 / HPE서버비용 / hpe서버소음 / HPE서버펌웨어 / HPE서버하드디스크구매 / hpe옵션 / hpe정품 / hpgen10 / hpml30 / hpserver / hpz2 / hpz4 / hpz4g4 / hpz6g4 / hpz8g4 / hp마이크로서버 / hp서버 / hp서버cto / hp서버pc / HP서버메모리 / hp서버소음 / hp서버컴퓨터 / HP서버파워 / HP서버펌웨어 / HP서버하드디스크 / hp옵션 / hp워크스테이션 / hp정품 / hp프로라이언트 / HYPER BACKUP / ibm서버 / ilo / Intelligent Provisioning / internetdisk / KVM / KVM 기술지원비(비용) / KVM 설치비 / L2스위치 / L3스위치 / LENONO서버SAS하드디스크 / lenovop620 / lenovor650 / LENOVO서버 / LENOVO서버CPU / LENOVO서버RAID컨트롤러 / LENOVO서버가격비교 / LENOVO서버가격비교견적 / LENOVO서버견적 / LENOVO서버구매 / LENOVO서버디스크교체 / LENOVO서버메모리 / LENOVO서버하드디스크구매 / LENOVO펌웨어업데이트 / Linux / ML30 / ml30gen10 / ml30gen11 / ML350GEN10 / ml350gen11 / ML360 / MS CSP / MSSQL / MSSQL 기술지원비(비용) / MSSQL 설치비 / MYSQL / MySQL 기술지원비(비용) / MySQL 설치비 / NAS / NVIDIA / Office 365 / oneview / orange / OS설치 / PA-410 / PA-440 / paloalto / poweredger740 / poweredger750 / precision5820 / QUADRO / r240 / r250 / r340 / r360 / r440 / r550 / r650 / r660 / r740 / r750xs / r760 / r760xs / RAID / redhat / RHEL설치 / RMS랙 / rocky / s100i / securedisk / server / serverpc / smart storage administrator / SPP / sql server / sr250 / sr650 / SYNOLOGY / SYNOLOGY나스 / t150 / t360 / UPS / UPS기술지원 / UPS납품 / UPS설치 / V3 / veeam / vroc / windows server / Windows서버설치 / XEON서버 / z8g4 / 가상서버 / 가성비서버 / 기술지원비(비용) / 나스기술지원 / 나스설치지원 / 네트워크스위치 / 네트워크장비 / 더블테이크 / 데이터베이스 / 델5820 / 델서버 / 델서버비용 / 델서버펌웨어업데이트 / 델옵션 / 델워크스테이션 / 델컴퓨터워크스테이션 / 디포그 / 디포그랙 / 디포그랙가격 / 딥러닝 / 딥러닝pc / 딥러닝서버 / 랙 / 랙(RACK) 기술지원비(비용) / 랙(RACK) 설치비 / 랙납품설치 / 랙설치 / 레노버p620 / 레노버서버 / 레노버워크스테이션 / 레노보서버 / 레노보서버펌웨어 / 레드헷설치 / 레이드 / 레이드구성 / 록키리눅스 / 리눅스 / 리눅스 기술지원비(비용) / 리눅스 설치비 / 리눅스서버 / 리눅스서버설치 / 리눅스서버트러블슈팅 / 리눅스트러블슈팅 / 문서보안 / 문서중앙화 / 미니서버 / 미니서버랙 / 미니서버렉 / 미디어서버 / 방화벽 / 방화벽 기술지원비(비용) / 방화벽 설치비 / 방화벽엔지니어 / 백업 / 백업 기술지원비(비용) / 백업 서버 / 백업서비스 / 백업솔루션 / 보안솔루션 / 보안솔루션구매 / 보안솔루션설치 / 보안툴 / 빔백업 / 샤크라맥스 / 서버 / 서버 기술지원비(비용) / 서 버 랙마운트비용 / 서버 설치비 / 서버 장애조치비용 / 서버CPU / 서버MEMORY / 서버OS설치 / 서버pc / 서버가격 / 서버가속기 / 서버견적 / 서버교체 / 서버구매 / 서버구입 / 서버구축 / 서버기술지원 / 서버납품 / 서버디스크장애처리 / 서버랙 / 서버렉 / 서버렉마운트 / 서버메모리 / 서버 몬 / 서버몬기술지원 / 서버백업 / 서버보안 / 서버부품 / 서버엔지니어 / 서버옵션 / 서버용GPU / 서버용PC / 서버용그래픽카드 / 서버용메모리 / 서버 / 컴퓨터 / 서버용하드디스크 / 서버재고 / 서버컴 / 서버컴퓨터 / 서버트러블슈팅 / 서버판매 / 서버하드 / 서버호스팅 / 스위치 / 스위치 기술지원비(비용) / 스위치 설치비 / 스토리지 / 스토리지 기술지원비(비용) / 스토리지 랙마운트비용 / 스토리지 설치비 / 스토리지 장애조치비용 / 스토리지납품설치 / 스토리지서버 / 시놀로지DS918 / 시놀로지HyperBackup / 시놀로지나스 / 시놀로지나스백업 / 시놀로지하이퍼백업 / 시큐어디스크 / 안랩 / 알약 / 앱서버 / 오피스 365 / 우분투설치 / 워크스테이션 / 워크스테이션pc / 워크스테이션컴퓨터 / 윈도우서버 / 윈도우서버2016 / 윈도우서버2019 / 윈도우서버2022 / 윈도우서버설치 / 윈도우서버컴퓨터 / 윈도우서버트러블슈팅 / 윈도우즈 기술지원비(비용) / 윈도우즈 설치비 / 이스트소프트 / 이스트 시큐리티 / 이중화솔루션 / 이중화솔루션구매 / 이중화솔루션설치 / 인터넷디스크 / 임베디드 / 저가서버 / 저렴한서버 / 정품서버 / 정품서버옵션 / 제온서버 / 젠서버 / 중고서버 / 중고워크스테이션 / 카보나이트 / 카스퍼스키 / 컴퓨터서버 / 케어팩 / 타워서버 / 타워형서버 / 팔로알토 / 페도라설치 / 프로라이언트