ELK stack 集中化日志部署文档

简介

这篇文章本来不想写的，因为之气那写了一篇Elasticsearch+kibana+fluentd 部署 efk部署文档这个了，但是这段时间公司有项目要在项目上部署一套ELK集中日志收集系统，部署完了之后，项目上领导还要一篇部署文档，就有了今天这篇文档。

实现的功能

程序修改日志输出代码，将日志直接输出到 logstash中，在由logstash过滤讲日志存入到ES中。

架构图

ELK集中日志收集架构图

需要的软件包

jdk-8u60-linux-x64.gz
elasticsearch-5.6.2.tar.gz
logstash-5.6.2.tar.gz
kibana-5.6.2-linux-x86_64.tar.gz

所有软件均从官网下载http://www.elastic.co

安装java环境

[root@localhost java]# tar xf jdk-8u60-linux-x64.gz
[root@localhost ~]# vi /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_60
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
[root@localhost ~]# source /etc/profile
[root@localhost ~]# . /etc/profile

java环境安装

创建用户

由于ES不能在root账户下运行，所以需要创建一个普通账户用来运行ES

[root@localhost ~]# useradd test
[root@localhost ~]# passwd test
[root@localhost ~]# mkdir -p /usr/local/software
[root@localhost ~]# chown test:test /usr/local/software/
[root@localhost ~]# su - test
[test@localhost ~]$ cd /usr/local/software/

安装ES（elasticsearch）

解压文件

1
2
3

[test@localhost software]$ tar xf elasticsearch-5.6.2.tar.gz
[test@localhost software]$ mv elasticsearch-5.6.2 elasticsearch
[test@localhost software]$ cd elasticsearch

修改配置文件

1
2
3

vim config/elasticsearch.yml 
network.host: 129.9.10.116
http.port: 9200

启动ES

1	[test@localhost elasticsearch]$ ./bin/elasticsearch

后台启动ES

1	[test@localhost elasticsearch]$ ./bin/elasticsearch -d

或者

1	[test@localhost elasticsearch]$ ./bin/elasticsearch &

开机启动

1	vim /etc/rc.d/rc.local

1	su -c "/usr/local/software/elasticsearch/bin/elasticsearch &" - test

安装logstash

1 2	[test@localhost software]$tar zxvf logstash-5.6.2.tar.gz [test@localhost software]$mv logstash-5.6.2 logstash

配置文件log.config

input {
  tcp {
    host => "0.0.0.0"
    port => "7000"
    mode => "server"
    tags => ["proxy"]
    codec => json_lines
  }
}

output {
  elasticsearch {
    hosts => ["129.9.10.114:9200","129.9.10.115:9200","129.9.10.116:9200"]
    index => "hr-javaapp-log-%{+YYYY.MM.dd}"
    template_name => "javalog"
  }
}

启动logstash

1	/usr/local/software/logstash/bin/logstash -f log.config

添加开机启动

1 2	vim /etc/rc.d/rc.local su -c "/usr/local/software/logstash/bin/logstash -f /usr/local/software/logstash/config/log.config &" - test

安装kibana

1 2	[test@localhost software]$ tar xf kibana-5.6.2-linux-x86_64.tar.gz [test@localhost software]$ mv kibana-5.6.2-linux-x86_64 kibana

kibana 配置文件

[test@localhost kibana]$ vim config/kibana.yml 
server.port: 5601
server.host: "129.9.10.113"
elasticsearch.url: "http://129.9.10.114:9200"

启动kibana

1	[test@localhost kibana]$ ./bin/kibana

添加开机启动

1 2	vim /etc/rc.d/rc.local su -c "/usr/local/software/kibana/bin/kibana &" - test

结束

到此ELK日志收集系统部署完成，配合程序将日志直接输出到logstash即可。

这篇文章非常水，，，几乎是照搬官方文档。

End！