前提 1、有强烈的审计需求。 2、能允许10%-15%左右的性能损失。 3、有强烈的对数据库操作实时查看需求(一般都是为了领导要求)。 Logstash 比较坑的配置 上面的配置看上去是没有问题的，如...
ELK
ELK
ELK
ELK logstash 处理mongodb日志(27th)
上一篇是处理MySQL的慢查询日志的，其实，ELK内容就这么多，很有规律的说，一通百通，通一反万。下面说说对mongodb日志处理。 不同mongodb版本的日志格式不同，这个需要看mongodb官方...
ELK
ELK logstash 处理MySQL慢查询日志(26th)
在生产环境下，logstash 经常会遇到处理多种格式的日志，不同的日志格式，解析方法不同。下面来说说logstash处理多行日志的例子，对MySQL慢查询日志进行分析，这个经常遇到过，网络上疑问也很...
ELK
ELK logstash 处理多行事件(25th)
有些日志是分多行输出的，为了能正确的处理这些多行的事件，logstash必须哪些行是单一事件的一部分。多行事件处理是比较复杂的，需依赖正确的事件顺序。最佳方法是尽早的在管道中处理以保证日志有序。这就是...
ELK
ELK logstash 配置语法(24th)
数据类型 logstash支持的数据类型有： array 数组可以是单个或者多个字符串值。 path => path => "/data/mysql/mysql.log" 如果指定了多次，...
ELK
ELK logstash处理流程(23rd)
logstash处理事件有三个阶段：input ---> filter ---> output。input产生事件，filter 对事件进行修改，output输出到其它地方。input和o...
ELK
ELK logstash 结构(22nd)
在命令行中指定-e参数，从标准输入到标准输出，并格式化结果。 logstash会给事件添加一些额外的信息，如@timestamp，标注事件发生的时间。host标注事件发生的主机。此外，还可能有下面几个...
ELK
ELK logstash升级到2.0以及logstash-forwarder迁移到Filebeat(21st)
将从logstash1.5版本升级到2.1版本，以及将《ELK部署指南》中使用的logstash-forwarder转移到Filebeat上。 升级步骤 停止logstash以及发送到logstash...
ELK
ELK logstash 部署指南与版本变化(20th)
logstash是ELK重要组成部分，日志进一步的处理差不多都需要经过logstash来完成的，除非自己开发beats将数据处理好直接写入到elasticsearch中。 APT源 YUM源 注意： ...
ELK
ELK kibana查询与过滤(17th)
在kibana中，可通过搜索查询过滤事务或者在visualization界面点击元素过滤。 创建查询 在Discover界面的搜索栏输入要查询的字段。查询语法是基于Lucene的查询语法。允许布尔运算...
ELK
ELK Packetbeat 协议和进程配置项(16th)
Packetbeat 协议部分包含支持每个协议的配置项，如ports, send_request, send_response 和 特定的协议选项。 目前Packetbeat支持以下协议： DNS H...
ELK
ELK Packetbeat 部署指南(15th)
Packetbeat 是一个实时网络数据包分析工具，与elasticsearch一体来提供应用程序的监控和分析系统。 Packetbeat通过嗅探应用服务器之间的网络通讯，来解码应用层协议类型如HTT...
ELK
ELK topbeat 部署指南(14th)
topbeat定期收集系统信息如每个进程信息、负载、内存、磁盘等等，然后将数据发送到elasticsearch进行索引。 topbeat收集的指标有： 系统统计信息 系统负载: 最后1分钟、最后5...
ELK
ELK beats yum和命令行工具(13th)
这篇是配置yum源和beat命令行。 为yum添加beats库 下载并安装公共签名证书： 添加repo文件： 安装Filebeat、Packetbeat、Topbeat： 这三个beat下文每个介绍过...
ELK
ELK beats通用配置说明(12th)
Beats配置文件是以YAML语法，该文件包含用于所有的beats的通用配置选项，以及其特点的选项。下面说说通用的配置，特定的配置要看各自beat文档。 通用的配置如下几部分： Shipper Out...
