Centos 部署Kafka 集群

简介

这段时间又接了数据中心的运维，针对抽数据啊什么的不太懂，但是kafka ogg啊什么的还是落到了我的头上，发现之前没有写过关于kafka的文档。

今天主要写在linux机器下部署kafka集群。

基础环境

三台机器如下

序号	本机IP	系统版本	配置需求	主机名	kafka软件版本	zk软件版本	jdk版本
1	10.172.252.37	centos 7.6	根据实际需求来	kafka1	kafka_2.12-2.1.0	zookeeper-3.4.13	jdk-8u191-linux-x64
2	10.172.252.38	centos 7.6	根据实际需求来	kafka2	kafka_2.12-2.1.0	zookeeper-3.4.13	jdk-8u191-linux-x64
3	10.172.252.39	centos 7.6	根据实际需求来	kafka3	kafka_2.12-2.1.0	zookeeper-3.4.13	jdk-8u191-linux-x64

前期准备工作

关闭防火墙

关闭安全模式

zk集群部署

配置hosts

三台配置相同的配hi

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
10.172.252.37 kafka01
10.172.252.38 kafka02
10.172.252.39 kafka03

配置zoo.cfg

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/data/zookeeper/zkdata
dataLogDir=/data/zookeeper/logs
clientPort=2181
server.1=kafka01:2888:3888
server.2=kafka02:2888:3888
server.3=kafka03:2888:3888

创建相关目录

mkdir -p /data/zookeeper/zkdata
mkdir -p /data/zookeeper/logs

输出myid
kafka01 主机

echo '1' >  /data/zookeeper/zkdata/myid

kafka02 主机

echo '2' >  /data/zookeeper/zkdata/myid

kafka03 主机

echo '3' >  /data/zookeeper/zkdata/myid

配置环境变量与启动

在/etc/profile添加zk配置

# vim /etc/profile
export JAVA_HOME=/usr/local/java 
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$JAVA_HOME/lib/tools.jar
export ZOOKEEPER_HOME=/data/zookeeper
export PATH=$ZOOKEEPER_HOME/bin:$PATH
# source /etc/profile

启动zk

# zkServer.sh start

kafka集群部署

修改配置 server.properties

所有节点配置

log.dirs=/data/kafka/logs
zookeeper.connect=10.172.252.37:2181,10.172.252.38:2181,10.172.252.39:2181

每个节点配置 server.properties

kafka01

broker.id=0

#listeners=PLAINTEXT://:9092
listeners=PLAINTEXT://10.172.252.37:9092

kafka02

broker.id=1

#listeners=PLAINTEXT://:9092
listeners=PLAINTEXT://10.172.252.38:9092

kafka03

broker.id=2

#listeners=PLAINTEXT://:9092
listeners=PLAINTEXT://10.172.252.39:9092

启动kafka

# 进入kafka根目录
# cd /data/kafka/
# 启动
# ./bin/kafka-server-start.sh config/server.properties &

收尾

配置zookeeper和kafka开机启动即可