Graylog 불필요한 필드 제거

Graylog를 설치하고 filebeat를 이용하여 로그를 수집하면 아래 이미지 처럼 Graylog가 자체적으로 여러가지 추가 필드를 작성한다.

 

filebeat에 기본적으로 추가되는 필드들...

 

꼭 필요한 필드들만 남겨두고 나머지 필드는 제거하는 방법을 설명한다.

파이프라인 기능을 이용하여 제거하는 방법이며, 필요하면 파이프라인을 다시 수정하여 필드를 추가할 수 있다.

 

기본적인 파이프라인 구성에 대한 설명을 아래 포스팅을 참고.

2023.05.10 - [분류 전체보기] - Graylog 파이프라인 (Pipeline) 구성

 

1. Rule 작성

• System -> Pipelines -> Manage rules -> Create Rule 클릭
• 아래 예제를 참고하여 Rule 작성

Rule 작성 화면

• Rule 예제

# rule 이름. 아래 이름이 rule 목록에 표시된다.
rule "function removeFields"

# 조건. beats_type이라는 필드가 존재하면 then절 실행
when
    has_field("beats_type")

# 위 조건이 만족하면 아래 나열된 필드를 제거한다.
then
    remove_field("filebeat_agent_ephemeral_id");
    remove_field("filebeat_agent_hostname");
    remove_field("filebeat_agent_id");
    remove_field("filebeat_agent_name");
    remove_field("filebeat_agent_type");
    remove_field("filebeat_agent_version");
    remove_field("filebeat_collector_node_id");
    remove_field("filebeat_ecs_version");
    remove_field("filebeat_log_offset");
end

 

2. 파이프라인 생성

• System -> Pipelines -> Manage pipelines -> Add new pipeline 클릭
• 신규 파이프라인 생성

• Edit connectons 버튼 클릭 후 적용하고자 하는 Stream에 연결

 

3. 파이프라인과 Rule 연결

• 작성된 파이프라인을 Stage를 통해 Rule과 연결
• Stage는 0번부터 시작하며, 기본적으로 0번 Stage가 생성되 있음
• Stage 0 부분에 Edit 버튼을 클릭하여 Rule과 연결

파이프라인 작성 화면

• stage 0번에 위에서 작성한 rule 선택

 

4. 확인

• 로그를 검색해 보면 아래 이미지와 같이 불필요한 필드들이 삭제 됨을 확인할 수 있다.
• 만약 파이프라인이 작동하지 않으면 이전에 포스팅한 글에서 "Message Proessors Configuration" 변경 방법 확인.