Elasticsearch+kibana+fluentd 部署 efk部署文档

efk安装思路
现在公司的项目架构是k8s集群，现在需要对日志进行收集分析，以下为针对k8s集群的日志收集系统的一些思路。
基于efk组件容器日志收集系统

总体流程

Fluentd用以收集日志

1 安装td-agent 别名Fluentd 主要用于日志收集并发送到es中 安装官网教程：http://docs.fluentd.org/articles/install-by-rpm

2 安装es插件 /usr/sbin/td-agent-gem install fluent-plugin-elasticsearch

3 修改配置文件 /etc/td-agent/td-agent.conf 记得备份

4 收集linux系统日志信息 /var/log/messages的 td-agent.conf例子

<source>
  @type tail
  path /var/log/messages # 要收集的日志文件
  pos_file /var/log/td-agent/messages.log.pos # 记录收集到哪里的文件
  tag messages.log # 便签
  # 正则表达式分析提取日志信息
  format /^(?<time>[^ ]*\s*[^ ]* [^ ]*) (?<host>[^ ]*) (?<ident>[a-zA-Z0-9_\/\.\-]*)(?:\[(?<pid>[0-9]+)\])?(?:[^\:]*\:)? *(?<message>.*)$/
  # 格式化时间显示
  time_format %b %d %H:%M:%S
</source>

<match messages.**>
  @type copy
  <store>
    # 开启debug模式 (tail -f /var/log/td-agent/td-agent.log)可以查看日志收集情况
    @type stdout
  </store>
  <store>
    @type elasticsearch # 使用的什么方式
    host 192.168.11.106 # es服务器地址
    port 9200			# es端口
    logstash_format true #格式化输出
    flush_interval 10s 
  </store>
</match>

Elasticsearch ，简称es 主要用以数据的存储并提供索引与搜索功能

1 安装es

- 安装 java yum install -y java

- 从官网下载 es  解压 官方网站（https://www.elastic.co/downloads）

2 修改配置文件

- es目录/config/elasticsearch.yml

- 单节点最关键的俩个参数 http.port: 9200     network.host: 192.168.11.106 

- 另外需要注意 es不能再root用户下运行，所以以上安装需要在普通用户下执行。

3 启动

• es目录/bin/elasticsearch 执行运行，详细大家可以加–help参数查看

kibana搜素与分析

1 安装kibana

• 官方网站下载tar包 解压 执行运行即可 官方网站（https://www.elastic.co/downloads） ps:kinbana和es是一个公司出品 有名的是elk集群 不过收集docker日志不方边用Logstash,所以这边使用的Fluentd

2 修改配置文件

• kibana/config/kibana.yml 主要的俩个参数为： elasticsearch.url: “http://ES集群访问地址:port" server.port: 对外提供的端口

3 启动

• kibana/bin/kibana 直接运行， 详细启动参数，大家可以加 –help参数查看

ohter

netstat -tnlp 可以查看linux只监听的端口