Graylog 파이프라인 (Pipeline) 구성

Graylog에 입력되는 로그의 변화(필드추출, 필드제거, 필드변환등)를 위해서는 Filebeat 자체적인 처리 또는 Pipleline을 구성해서 처리하는 방법이 있다.

Filebeat 자체 처리 기능은 단순하고 빠르지만, 기능이 Pipeline에 비해 떨어지고 운영서버에 설치되어 있는 Filebeat에 최대한 부하를 주지 않기 위해 Pipeline 기능을 이용하여 처리하는 방법을 설명한다.

 

중요:

• Graylog 4.x 버전에서 Message Processors Configuration 구성으로 인해 Pipeline이 작동안될 수 있음
• 아래 이미지와 같이 Pipeline Processor 가 Message Filter Chain 아래에 오도록 변경해야 함
• System -> Configurations -> Message Processors Configuration 부분에 Update 버튼 클릭 후 변경

Message Processors Configuration 변경

Note :

• Pipeline은 Stream 에 적용됨. (System -> Pipelines에서 확인 가능)
• Pipleline은 "Rule" -> "Pipeline" -> "Stream" 순으로 연결됨
• Rule 과 Pipeline은 재사용이 가능함

Pipeline을 이용한 필드 추출 방법

eg) 아래 예제 로그에서 노란색으로 표시된 부분을 Pileline을 이용하여 필드 추출

1. Add new pipeline

• System -> Pipelines -> Manage pipelines -> Add new pipeline 클릭
• 신규 Pipeline 생성

• "Edit connections" 클릭 후 원하는 Stream에 연결

2. Rule 생성

• System -> Pipelines -> Manage rules -> Create Rule 클릭
• Rule 작성 (regex 부분은 https://regex101.com 을 이용하여 테스트 하면 편리함)

• Rule 생성은 약간의 코딩이 필요하지만 코드가 단순해서 약간의 노력만으로 생성 가능
• regex 함수에서 정규식 작성시 "\"(backslash)는 "\"(backslash)로 escape 처리 해줘야 함.

3. Pileline 과 Rule 연결

• System -> Pipelines -> Manage pipelines -> 위에서 생성한 Pipeline 클릭
• Stage 0 -> Edit -> Stage Rules 선택

4. Log 확인

module 필드가 생성됨을 확인

5. 추출된 필드로 시계열 그래프 작성