Graylog Lookup 구성

Graylog에는 Lookup 기능을 제공한다.

Lookup은 ...

HTTP 상태코드 200은 "성공", 400은 "잘못된 요청", 401은 "권한 없음"과 같이 어떠한 코드를 다른 방식으로 해석하고자 할때 사용하는 기능이다.

 

지난 포스팅에서 추출한 필드를 이용하여 Lookup 설정을 진행한다.

필드 추출은 아래 링크 참고

2023.05.10 - [분류 전체보기] - Graylog 필드 추출 및 시계열 그래프 작성

Graylog 필드 추출 및 시계열 그래프 작성

Lookup 구성

• Lookup은 "Data Adapter" 와 "Cache"의 조합으로 이루어 짐
• 생성한 Lookup Table을 이용하여 Extractor, Pipeline, Converter 등을 이용하여 새로운 필드에 적용
• 아래 예제는 Log Level (INFO, WARN, ERROR)을 한글로(정보, 주의, 오류) Lookup 후 Extractor를 이용하여 적용

1. Lookup에 필요한 CSV 파일 생성

• graylog 서버의 적당한 디렉토리에 csv 파일 생성

> vi /etc/graylog/logLevel.csv

"logLevel","desc"
"INFO","정보"
"WARN","주의"
"ERROR","오류"

2. Data Adapter 생성

• System -> Lookup Tables -> Data Adapters -> Create data adapter 클릭
• Data Adapter Type -> CSV File 클릭
• Data Adapter 정보 입력

3. Cache 생성

• System -> Lookup Tables -> Caches -> Create Cache -> Node-local, in-memory cache 클릭
• Cache는 한번 생성 후 여러 lookup에서 같이 사용할 수 있음

4. Lookup Table 구성

• System -> Lookup Tables -> Create lookup table 클릭
• 위에서 설정한 Data Adapter 와 Cache 선택

5. Extreactor 구성

• System -> Inputs -> Filebeat(적용하고자 하는 Input) -> Manage extractors 클릭
• Add extractor -> Create extractor 클릭
• Recent Message 혹은 Message ID를 이용하여 원하는 샘플 로그 Load
• lookup을 적용하고 하는 필드에서 Select extractor type -> Lookup Table 클릭

• 아래와 같이 Extractor 구성

6. 확인

• 로그에서 Lookup한 내용이 새로운 필드로 저장되었는지 확인

7. 활용

• 대시보드를 이용하여 그래프 구성
• Row는 timestamp를 이용하여 시계열로 표시
• Column은 lookup에서 추출한 logLevel_desc 필드를 이용하여 표시