filebeat抓取nginx日志自定义索引 并输出到ES

简介

今天 有点事儿可以干，公司一个团队需要将nginx日志进行统计，之前一直都是通过logstsh来对日志进行收集，这俩年主流的filebeat一直没时间玩耍，今天就顺便处理一下。

问题分析

nginx存在以下几个问题

access.log 和error.log如果日志进行了分割，那么还存在其他的日志

开启了access.log日志后，就需要对日志进行定期清理。

对索引进行自定义索引方便统计

filebeat.yml 最终结果如下

安装过程略，我这边一般都是直接使用rpm安装

[root@phoenixcdrreverseproxymain filebeat]# grep -v '#' /etc/filebeat/filebeat.yml | grep -v '^$'
filebeat.modules:
- module: nginx
  access:
      enabled: true
      var.paths: [ "/usr/local/nginx/logs/access.log*"]
  error:
      enabled: true
      var.paths: [ "/usr/local/nginx/logs/error.log*"]
 
output.elasticsearch:
  enabled: true
  hosts: ["172.20.10.96:9200"]
  indices:
    - index: "cdr-log-%{[event.dataset]}-%{+yyyy.MM.dd}"
      when.equals:
         event.module: "nginx"
[root@phoenixcdrreverseproxymain filebeat]#

备注： log*的原因是 nginx的日志 是以日期来进行区分的。

以上

End。