ELK logstash 处理MySQL慢查询日志(26th)

  • A+
所属分类:ELK

在生产环境下,logstash 经常会遇到处理多种格式的日志,不同的日志格式,解析方法不同。下面来说说logstash处理多行日志的例子,对MySQL慢查询日志进行分析,这个经常遇到过,网络上疑问也很多。

MySQL慢查询日志格式如下:

filebeat配置

我这里是使用filebeat 1.1.1版本的,之前版本没有multiline配置项,具体方法看后面那种。

logstash配置

1. input段配置

2. filter 段配置

关键之重是grok正则的配置。

3. output段配置

标准输出结果截图

Elasticsearch

elasticsearch结果截图

Elasticsearch

Elasticsearch

如果是使用filebeat1.1.1之前的版本,配置如下:

1. filebeat配置

2. logstash input段配置

其它配置不变。

如有疑问跟帖,或者加群沟通。

weinxin
微信公众号
扫一扫关注运维生存时间公众号,获取最新技术文章~
默北

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

目前评论:5   其中:访客  5   博主  0

    • bin 1

      您好,请问这个如果我收集日志的就用logstash来收集慢日志,过滤就用上文中的可以吗

      • taotao 1

        创建MySQL慢日志对应的索引 详细信息能发下看看吗

        • taotao 1

          es 中创建慢日志对应的索引信息能发下看看吗

          • luopeijue 0

            如果有多个地方发慢日志过来,如果保证合并的是有序且同设备同一个信息的正确性呢,input这个插件是单线程安全的吗?

              • 默北 默北 6

                @luopeijue 时间是有序的。 不管啥时候读取到慢日志,日志里面的时间是不会改变的。
                安全的,即时挂了也会知道从何处读取。