Hadoop 集群安装部署记录(3.1.2)

简介

公司另一个项目团队在做大数据分析。然后需要使用到flink。然后就有了今天这篇文章。

操作思路

配置系统相关信息、安装java环境、配置免密登陆、配置Hadoop相关信息。

ip地址	作用	主机名
10.10.76.227	master	hadoop01
10.10.76.228	worker	hadoop02
10.10.76.229	worker	hadoop03

配置系统相关信息

关闭selinux

1 2	setenforce 0 sed -i -E 's/^(SELINUX=)enforcing/\1disabled/' /etc/selinux/config

关闭虚拟内存

1 2	swapoff -a sed -i 's/.swap./#&/' /etc/fstab

更改时区

echo 'change system time zone to ShangHai...'
cp -af /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
which ntpdate
[ $? = 1 ] && yum install ntpdate -y
ntpdate cn.ntp.org.cn && hwclock -w

关闭防火墙、安装网络工具

iptables -F
systemctl stop firewalld
systemctl disable firewalld
yum install net-tools -y

系统调优

echo 'change open file limit numbers '
ulimit -n 65535
echo -e '* soft nofile 65535\n* hard nofile 65535' >> /etc/security/limits.conf
echo 'set TCP somaxconn...'
echo 'net.core.somaxconn = 20480' >> /etc/sysctl.conf
echo 20480 > /proc/sys/net/core/somaxconn
sysctl -p

更改主机名并配置hosts

echo 'hadoop01' > /etc/hostname
hostname hadoop01
echo 'hadoop02' > /etc/hostname
hostname hadoop02
echo 'hadoop03' > /etc/hostname
hostname hadoop03
#cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
10.10.76.227 hadoop01
10.10.76.228 hadoop02
10.10.76.229 hadoop03

配置java环境

# tar -zxf jdk-8u191-linux-x64.tar.gz
# mv jdk1.8.0_191 /usr/java
# vim /etc/profile
添加
export JAVA_HOME=/usr/java
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
# source /etc/profile

配置ssh免密登陆

ssh-keygen
ssh-copy-id -i hadoop01
ssh-copy-id -i hadoop02
ssh-copy-id -i hadoop03

备注：三台机器都要执行包含本机

Hadoop 配置文件介绍与配置

配置文件介绍

文件名	格式	描述
hadoop-env.sh	bash脚本	在运行Hadoop的脚本中使用的环境变量
core-site.xml	hadoop配置XML	Hadoop核心配置，例如HDFS和MapReduce中很普遍的I/O设置
hdfs-site.xml	hadoop配置XML	HDFS后台程序设置的配置：名称节点，第二名称节点和数据节点
mapred-site.xml	hadoop配置XML	MapReduce后台程序设置的配置jobtracker和tasktracker
masters	纯文本	记录运行第二名称节点的机器（一行一个）的列表
slaves	纯文本	记录运行数据节点和tasktracker的器（一行一个）的列表

配置/etc/profile

export HADOOP_HOME="/data/hadoop-3.1.2"
export PATH="$HADOOP_HOME/bin:$PATH"
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
# export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop

注：如果不注释掉”export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop”启动和关闭时会提示WARNING: YARN_CONF_DIR has been replaced by HADOOP_CONF_DIR. Using value of YARN_CONF_DIR.报错。

hadoop-env.sh配置

文件目录为：hadoop-3.1.2/etc/hadoop/hadoop-env.sh

54行
修改成
export JAVA_HOME=/usr/java

hadoop-env配置