云服务器配置：4核8G
云服务器数量：3台
版本：
Zookeeper 3.7.1
Hadoop 3.3.4
HBase 2.4.16
Hive 3.1.3
一、配置好ssh key免密登录
1.首先配置hosts文件
vim /etc/hosts
192.168.10.11 linux1
192.168.10.12 linux2
192.168.10.13 linux3
2.生成ssh rsa?
第一台机器
[ubuntu@linux1 conf]$ ssh-keygen -t rsa
[ubuntu@linux1 conf]$ ssh-copy-id linux2
[ubuntu@linux1 conf]$ ssh-copy-id linux3
第二台机器
[ubuntu@linux2 conf]$ ssh-keygen -t rsa
[ubuntu@linux2 conf]$ ssh-copy-id linux1
[ubuntu@linux2 conf]$ ssh-copy-id linux3
第三台机器
[ubuntu@linux3 conf]$ ssh-keygen -t rsa
[ubuntu@linux3 conf]$ ssh-copy-id linux1
[ubuntu@linux3 conf]$ ssh-copy-id linux2
二、zookeeper集群安装
1、下载地址：https://dlcdn.apache.org/zookeeper/zookeeper-3.7.1/apache-zookeeper-3.7.1-bin.tar.gz
2、配置zoo.cfg文件
cp?zoo_sample.cfg zoo.cfg
具体配置，修改dateDir,添加日志存放目录
dataDir=/opt/module/apache-zookeeper-3.6.0/Data
dataLogDir=/opt/module/apache-zookeeper-3.6.0/Data/logs
在末尾增加
server.1=linux1:2888:3888
server.2=linux2:2888:3888
server.3=linux3:2888:3888
3、集群配置
? 3.1 在/opt/module/apache-zookeeper-3.6.0/Data目录下创建一个myid的文件
[ubuntu@linux1 Data]$ touch myid
vim myid
3台主机分别设置编号：1、2、3
scp -r apache-zookeeper-3.7.1-bin/ ubuntu@linux2:~/soft/
?3.2 启动集群
./bin/zkServer.sh start
查看启动状态：./bin/zkServer.sh status
3.3 环境变量
export ZOOKEEPER_HOME=/home/ubuntu/soft/zookeeper
export PATH=$PATH:$ZOOKEEPER_HOME/bin
三、hadoop集群部署
1、下载地址：https://dlcdn.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz
2、添加hadoop用户：sudo useradd -m hadoop -s /bin/bash
????修改密码：sudo passwd hadoop
? ? 添加权限：sudo adduser hadoop sudo
3、免密登录
3.1 master-1
cd ~/.ssh/ # 若没有该目录，请先执行一次ssh localhost
ssh-keygen -t rsa? ? ? ? ? ? ? # 会有提示，都按回车就可以
cat ./id_rsa.pub >> ./authorized_keys
scp ~/.ssh/id_rsa.pub hadoop@master-2:/home/hadoop/
3.2 master-2/master-3
mkdir ~/.ssh # 如果不存在该文件夹需先创建，若已存在，则忽略本命令
cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
rm ~/id_rsa.pub? ? # 用完以后就可以删掉
4、java环境变量
export JAVA_HOME=/etc/jdk1.8.0_151
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
5、配置hadoop环境变量
vim ~/.bashrc
export PATH=$PATH:/home/hadoop/hadoop-3.3.4/bin:/home/hadoop/hadoop-3.3.4/sbin
vim ~/hadoop-3.3.4/etc/hadoop/hadoop-env.sh
export JAVA_HOME=/etc/jdk1.8.0_151
6、配置
6.1 core-site.xml
<property>
? ? ? ? <name>fs.defaultFS</name>
? ? ? ? <value>hdfs://master-1:9000</value>
</property>
<property>
? ? ? ? <name>hadoop.tmp.dir</name>
? ? ? ? <value>file:/home/hadoop/hadoop-3.3.4/tmp</value>
? ? ? ? <description>Abase for other temporary directories.</description>
</property>
6.2 hdfs-site.xml
<property>
? ? ? ? <name>dfs.namenode.secondary.http-address</name>
? ? ? ? <value>master-1:50090</value>
</property>
<property>
? ? ? ? <name>dfs.replication</name>
? ? ? ? <value>3</value>
</property>
<property>
? ? ? ? <name>dfs.namenode.name.dir</name>
? ? ? ? <value>file:/home/hadoop/hadoop-3.3.4/hadoop-datas/namenodes</value>
</property>
<property>
? ? ? ? <name>dfs.datanode.data.dir</name>
? ? ? ? <value>file:/home/hadoop/hadoop-3.3.4/hadoop-datas/datanodes</value>
</property>
6.3?mapred-site.xml
<property>
? ? ? ? <name>mapreduce.framework.name</name>
? ? ? ? <value>yarn</value>
</property>
<property>
? ? ? ? <name>mapreduce.jobhistory.address</name>
? ? ? ? <value>master-1:10020</value>
</property>
<property>
? ? ? ? <name>mapreduce.jobhistory.webapp.address</name>
? ? ? ? <value>master-1:19888</value>
</property>
<property>
? ? ? ? <name>yarn.app.mapreduce.am.env</name>
? ? ? ? <value>HADOOP_MAPRED_HOME=/home/hadoop/hadoop-3.3.4/</value>
</property>
<property>
? ? ? ? <name>mapreduce.map.env</name>
? ? ? ? <value>HADOOP_MAPRED_HOME=/home/hadoop/hadoop-3.3.4/</value>
</property>
<property>
? ? ? ? <name>mapreduce.reduce.env</name>
? ? ? ? <value>HADOOP_MAPRED_HOME=/home/hadoop/hadoop-3.3.4/</value>
</property>
6.4??yarn-site.xml
<property>
? ? ? ? <name>yarn.resourcemanager.hostname</name>
? ? ? ? <value>master-1</value>
</property>
<property>
? ? ? ? <name>yarn.nodemanager.aux-services</name>
? ? ? ? <value>mapreduce_shuffle</value>
</property>
7、scp同步文件
8、启动
hdfs namenode -format #第一次启动需要，以后不用
start-dfs.sh
start-yarn.sh
mr-jobhistory-daemon.sh start historyserver
8、停止
stop-yarn.sh
stop-dfs.sh
mr-jobhistory-daemon.sh stop historyserver
四、hbase集群部署
1、下载地址：https://dlcdn.apache.org/hbase/2.4.16/hbase-2.4.16-bin.tar.gz
2、配置
2.1?hbase-env.sh
export JAVA_HOME=/etc/jdk1.8.0_151
export HBASE_MANAGES_ZK=false
2.2?hbase-site.xml
<property>
<name>hbase.rootdir</name>
<value>hdfs://master-1:9000/HBase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<!-- 0.98 后的新变动，之前版本没有.port,默认端口为 60000 -->
<property>
<name>hbase.master.port</name>
<value>16000</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>master-1,master-2,master-3</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/home/ubuntu/soft/zookeeper/zkData</value>
</property>
2.3?regionservers
master-1
master-2
master-3
2.4?软连接 hadoop 配置文件到 HBase：
ln /home/hadoop/hadoop-3.3.4/etc/hadoop/core-site.xml /home/hadoop/hbase-2.4.16/conf/core-site.xml
ln /home/hadoop/hadoop-3.3.4/etc/hadoop/hdfs-site.xml /home/hadoop/hbase-2.4.16/conf/hdfs-site.xml
3、HBase 分发
scp -r hbase-2.4.16 master-2:/home/hadoop/
scp -r hbase-2.4.16 master-3:/home/hadoop/
4、启动
bin/start-hbase.sh
5、停止
bin/stop-hbase.sh