ELK logstash 处理MySQL慢查询日志(26th)

在生产环境下,logstash 经常会遇到处理多种格式的日志,不同的日志格式,解析方法不同。下面来说说logstash处理多行日志的例子,对MySQL慢查询日志进行分析,这个经常遇到过,网络上疑问也很多。

MySQL慢查询日志格式如下:

filebeat配置

我这里是使用filebeat 1.1.1版本的,之前版本没有multiline配置项,具体方法看后面那种。

logstash配置

1. input段配置

2. filter 段配置

关键之重是grok正则的配置。

3. output段配置

标准输出结果截图

Elasticsearch

elasticsearch结果截图

Elasticsearch

Elasticsearch

如果是使用filebeat1.1.1之前的版本,配置如下:

1. filebeat配置

2. logstash input段配置

其它配置不变。

如有疑问跟帖,或者加群沟通。

teakki

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

目前评论:5   其中:访客  5   博主  0

  1. bin 1

    您好,请问这个如果我收集日志的就用logstash来收集慢日志,过滤就用上文中的可以吗

  2. taotao 1

    创建MySQL慢日志对应的索引 详细信息能发下看看吗

  3. taotao 1

    es 中创建慢日志对应的索引信息能发下看看吗

  4. luopeijue 0

    如果有多个地方发慢日志过来,如果保证合并的是有序且同设备同一个信息的正确性呢,input这个插件是单线程安全的吗?

    • 默北 5

      @luopeijue 时间是有序的。 不管啥时候读取到慢日志,日志里面的时间是不会改变的。
      安全的,即时挂了也会知道从何处读取。