• Hadoop 3.3.0

• Jdk 8

常见问题

修改Ubuntu的root用户密码

sudo passwd root

卸载内置软件包

sudo apt-get remove vim-common

安装软件包

sudo apt install openssh-server
sudo apt-get install vim

配置免密登录

关闭防火墙

sudo ufw disable

配置 /etc/ssh/sshd_config 文件

PasswordAuthentication yes 允许密码登录。

PubkeyAuthentication yes 允许公钥认证。

PermitRootLogin yes 允许 root 用户登录。

刷新配置

sudo service ssh restart

配置 /etc/hosts 文件

192.168.131.129 master master.centos.com
192.168.131.130 slave1 slave1.centos.com
192.168.131.131 slave2 slave2.centos.com
192.168.131.132 slave3 slave3.centos.com

linux用户执行

生成密钥

ssh-keygen -t rsa 三次回车

ssh-copy-id -i /root/.ssh/id_rsa.pub master
ssh-copy-id -i /root/.ssh/id_rsa.pub slave1
ssh-copy-id -i /root/.ssh/id_rsa.pub slave2
ssh-copy-id -i /root/.ssh/id_rsa.pub slave3

解压附件

hadoop-3.3.0.tar.gz master节点

jdk-8u151-linux-x64.tar.gz

tar -zxvf /opt/hadoop-3.3.0.tar.gz -C /home/linux 
tar -zxvf /opt/jdk-8u151-linux-x64.tar.gz -C /home/linux 

配置环境变量

系统环境变量

vi /etc/profile 打开文件

export JAVA_HOME=/home/linux/jdk1.8.0_151
export HADOOP_HOME=/home/linux/hadoop-3.3.0
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

source /etc/profile 刷新配置

Hadoop环境变量（master节点）

vi hadoop-env.sh 
export JAVA_HOME=/home/linux/jdk1.8.0_151
vi yarn-env.sh
export JAVA_HOME=/home/linux/jdk1.8.0_151

配置Hadoop文件

core-site.xml

hdfs-site.xml

yarn-site.xml

mapred-site.xml

workers

复制配置好的Hadoop文件夹到其他节点

scp -r /home/linux/hadoop-3.3.0 slave1:/home/linux
scp -r /home/linux/hadoop-3.3.0 slave2:/home/linux
scp -r /home/linux/hadoop-3.3.0 slave3:/home/linux

初始化

hdfs namenode -format