logstash grok过滤器,用于具有任意属性 – 值对的日志

(这与我的其他问题logstash grok filter for custom logs有关)

我有一个日志文件,其行看起来像:

14:46:16.603 [http-nio-8080-exec-4] INFO  METERING - msg=93e6dd5e-c009-46b3-b9eb-f753ee3b889a CREATE_JOB job=a820018e-7ad7-481a-97b0-bd705c3280ad data=71b1652e-16c8-4b33-9a57-f5fcb3d5de92
14:46:17.378 [http-nio-8080-exec-3] INFO  METERING - msg=c1ddb068-e6a2-450a-9f8b-7cbc1dbc222a SET_STATUS job=a820018e-7ad7-481a-97b0-bd705c3280ad status=ACTIVE final=false

我构建了一个与第一行匹配的模式:

%{TIME:timestamp} %{NOTSPACE:http} %{WORD:loglevel}%{SPACE}%{WORD:logtype} - msg=%{NOTSPACE:msg}%{SPACE}%{WORD:action}%{SPACE}job=%{NOTSPACE:job}%{SPACE}data=%{NOTSPACE:data}

但显然只适用于数据=最后的行,而第二行末尾的status =和final =,或其他行的其他属性值对?如何设置一个模式,表示在某个点之后会有一个我想要识别的foo = bar对,并在输出中作为属性/值对输出?

最佳答案
您可以像这样更改您的grok模式,以便在一个字段(kvpairs)中包含所有键值对:

%{TIME:timestamp} %{NOTSPACE:http} %{WORD:loglevel}%{SPACE}%{WORD:logtype} - %{GREEDYDATA:kvpairs}

之后,您可以使用kv filter来解析键值对.

kv {
    source => "kvpairs"
    remove_field => [ "kvpairs" ] # Delete the field afterwards
}

不幸的是,你的kv对中有一些简单的值(例如CREATE_JOB).您可以使用grok解析它们,并为之前的值使用一个kv过滤器,并为这些简单值之后的值使用另一个kv过滤器.

转载注明原文:logstash grok过滤器,用于具有任意属性 – 值对的日志 - 代码日志