ELK Packetbeat 部署指南(15th)

Packetbeat 是一个实时网络数据包分析工具，与elasticsearch一体来提供应用程序的监控和分析系统。

Packetbeat通过嗅探应用服务器之间的网络通讯，来解码应用层协议类型如HTTP、MySQL、redis等等，关联请求与响应，并记录每个事务有意义的字段。文章源自运维生存时间-https://www.ttlsa.com/elk/elk-packetbeat-deployment-guide/

Packetbeat可以帮助我们快速发现后端应用程序的问题，如bug或性能问题等等，修复排除故障也很快捷。文章源自运维生存时间-https://www.ttlsa.com/elk/elk-packetbeat-deployment-guide/

Packetbeat目前支持的协议有：文章源自运维生存时间-https://www.ttlsa.com/elk/elk-packetbeat-deployment-guide/

• HTTP
• MySQL
• PostgreSQL
• Redis
• Thrift-RPC
• MongoDB
• DNS
• Memcache

Packetbeat可以将相关事务直接插入到elasticsearch或redis(不推荐)或logstash。文章源自运维生存时间-https://www.ttlsa.com/elk/elk-packetbeat-deployment-guide/

Packetbeat可以运行在应用服务器上或者独自的服务器。当运行在独自服务器上时，需要从交换机的镜像端口或者窃听设备上获取网络流量。文章源自运维生存时间-https://www.ttlsa.com/elk/elk-packetbeat-deployment-guide/

对第七层信息解码后，Packetbeat关联与请求相关的响应，称之为事务。每个事务，Packetbeat插入一个json格式文档到elasticsearch。然后可通过kibana进行分析展示。文章源自运维生存时间-https://www.ttlsa.com/elk/elk-packetbeat-deployment-guide/

安装

先配置beats yum 源，参见前文。文章源自运维生存时间-https://www.ttlsa.com/elk/elk-packetbeat-deployment-guide/

# yum install packetbeat

配置

选择要从哪个网卡嗅探网络通讯，默认是所有的网络接口。文章源自运维生存时间-https://www.ttlsa.com/elk/elk-packetbeat-deployment-guide/

interfaces:
  # Select on which network interfaces to sniff. You can use the "any"
  # keyword to sniff on all connected interfaces.
  device: any

在协议部分，配置端口以便Packetbeat找到每个端口对应的协议。如果使用非标准端口，需要添加上。多个端口以逗号分隔。文章源自运维生存时间-https://www.ttlsa.com/elk/elk-packetbeat-deployment-guide/

protocols:
  # Configure which protocols to monitor and on which ports are they
  # running. You can disable a given protocol by commenting out its
  # configuration.
  http:
    ports: [80, 8080, 8081, 5000, 8002]

  memcache:
    ports: [11211]

  mysql:
    ports: [3306]

  redis:
    ports: [6379]

  pgsql:
    ports: [5432]

  thrift:
    ports: [9090]

定义elasticsearch服务文章源自运维生存时间-https://www.ttlsa.com/elk/elk-packetbeat-deployment-guide/

output:

  elasticsearch:
    # Uncomment out this option if you want to output to Elasticsearch. The
    # default is false.
    enabled: true

    # Set the host and port where to find Elasticsearch.
    host: 192.168.1.42
    port: 9200

    # Uncomment this option and set it to true if you want to store the topology in
    # Elasticsearch. Default behavior if this setting is left out of the
    # config file is equivalent to setting "save_topology" to "false"
    #save_topology: false

加载elasticsearch索引模板

加载索引模板，以便elasticsearch知道哪些字段该以何种方式进行分析。文章源自运维生存时间-https://www.ttlsa.com/elk/elk-packetbeat-deployment-guide/

# curl -XPUT 'http://10.1.19.18:9200/_template/packetbeat' -d@/etc/packetbeat/packetbeat.template.json

启动服务

# /etc/init.d/packetbeat start

查看数据文章源自运维生存时间-https://www.ttlsa.com/elk/elk-packetbeat-deployment-guide/

文章源自运维生存时间-https://www.ttlsa.com/elk/elk-packetbeat-deployment-guide/

加载kibana Packetbeat的仪表盘

这个在前面的文章中，有加载过。这里不再重复加载。文章源自运维生存时间-https://www.ttlsa.com/elk/elk-packetbeat-deployment-guide/

配置选项

beats公用的配置选前文有说的。下面说说Packetbeat自有的配置项：Interfaces、Protocols、Processes(可选)。文章源自运维生存时间-https://www.ttlsa.com/elk/elk-packetbeat-deployment-guide/

interfaces

interfaces 部分配置嗅探器文章源自运维生存时间-https://www.ttlsa.com/elk/elk-packetbeat-deployment-guide/

# Select the network interfaces to sniff the data. You can use the "any"
# keyword to sniff on all connected interfaces.
interfaces:
  # On which device to sniff
  device: any

  # The maximum capture size of a single packet.
  snaplen: 1514

  # The type of the sniffer to use
  type: af_packet

  # The size of the sniffing buffer
  buffer_size_mb: 100

从哪个网络接口捕获通讯。指定的设备自动设置为混杂模式，这意味着Packetbeat可以从同一个LAN捕获其它主机的流量。文章源自运维生存时间-https://www.ttlsa.com/elk/elk-packetbeat-deployment-guide/

interfaces:
  device: eth0

在Linux上，可以指定任何的设备。当指定为any时，接口不会设置成混杂模式。文章源自运维生存时间-https://www.ttlsa.com/elk/elk-packetbeat-deployment-guide/

查看可用设备，可以使用下面的命令：文章源自运维生存时间-https://www.ttlsa.com/elk/elk-packetbeat-deployment-guide/

# packetbeat -devices
0: eth0 (No description available)
1: eth1 (No description available)
2: usbmon1 (USB bus number 1)
3: any (Pseudo-device that captures on all interfaces)
4: lo (No description available)

device可以指定为上述返回列表的索引，如

interfaces:
  device: 0

表示是eth0。这对于设备名称很长的情况下非常有用咯。

捕获包的最大大小。默认65535。足够应付所有网络和接口类型。如果嗅探物理网络接口，该值设置为MTU大小。对于虚拟接口，还是最好使用默认值。

interfaces:
  device: eth0
  snaplen: 1514

Packetbeat 支持下面的嗅探器类型：

默认的嗅探器类型是pcap。

interfaces:
  device: eth0
  type: af_packet

在Linux上，如果想优化Packetbeat耗CPU占用率，建议使用 af_packet 和 pf_ring 选项。

如果使用 af_packet, 可以通过下面选项调整行为：

interfaces:
  device: eth0
  type: af_packet
  buffer_size_mb: 100

interfaces:
  device: eth0
  bpf_filter: "net 192.168.238.0/0 and port 80 and port 3306"

此设置是禁用自动生成的BPF过滤器。如果使用此设置，你需要保持BPF过滤器与协议部分定义的端口同步。

Protocols和Processes配置项，下文再说了。