当前位置：首页>后端>正文

大数据 2-搭建CDH集群

后端2024-04-19 11:46:22

安装简介

安装 CDH 6.3.2版本,使用rpm(cm6.3.1)+本地parcel(6.3.2)方式进行安装，包括三个节点，一个管理节点，三台工作节点。不额外说明执行的步骤，默认在三个机器上均执行。

安装JDK

# 涉及的全部安装所需文件：
# https://pan.baidu.com/s/14J0UiZNHl5cD06gtt4Hztw?pwd=3hjw
# 官方地址下载地址
# https://docs.cloudera.com/documentation/enterprise/6/release-notes/topics/rg_cdh_63_download.html#cdh_632-download

yum install -y java-1.8.0-openjdk
yum install -y java-1.8.0-openjdk-devel
java -version

安装Mysql

CDH中有很多组件和管理的组件需要存储数据至Mysql中。

# 1. 列出系统中的mysql全部信息
rpm -qa|grep -i mysql

# 2.将查询到的全部信息移除
rpm -e --nodeps mysql-community-libs-compat-5.7.43-1.el7.x86_64 mysql57-community-release-el7-11.noarch ...

# 3.安装
wget https://downloads.mysql.com/archives/get/p/23/file/MySQL-shared-compat-5.6.24-1.el6.x86_64.rpm
wget https://downloads.mysql.com/archives/get/p/23/file/MySQL-shared-5.6.24-1.el6.x86_64.rpm
rpm -ivh MySQL-shared-5.6.24-1.el6.x86_64.rpm 
rpm -ivh MySQL-shared-compat-5.6.24-1.el6.x86_64.rpm

# 4.安装mysql-server和客户端
rpm -ivh MySQL-server-5.6.24-1.el6.x86_64.rpm 
rpm -ivh MySQL-client-5.6.24-1.el6.x86_64.rpm

# 5.查看root密码
cat /root/.mysql_secret

# 6.启动mysql服务
service mysql start

连接mysql并修改默认密码

mysql -uroot -p0_2R7fDywSDjAjaz
SET PASSWORD=PASSWORD('qwer1234');
mysql -uroot -pqwer1234

修改访问权限及用户

update mysql.user set host='%' where host='localhost';
delete from mysql.user where host!='%';
flush privileges;

创建CDH相关的数据库信息

GRANT ALL ON scm.* TO 'scm'@'%' IDENTIFIED BY 'scm';

CREATE DATABASE scm DEFAULT CHARSET  utf8 COLLATE  utf8_general_ci;
CREATE DATABASE hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
CREATE DATABASE oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
CREATE DATABASE hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

配置互相免密登录

ssh-keygen -t rsa
ssh-copy-id hdp1
ssh-copy-id hdp2
ssh-copy-id hdp3

安装CDH

图片.png

安装Cloudera Manager

1. cm agent 依赖项安装
yum install bind-utils psmisc cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap  fuse-libs /lib/lsb/init-functions httpd mod_ssl openssl-devel python-psycopg2 MySQL-python libxslt -y

2. 安装
rpm -ivh cm6.3.1/RPMS/x86_64/cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
rpm -ivh cm6.3.1/RPMS/x86_64/cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm

3.在主节点安装(hdp1)
rpm -ivh cm6.3.1/RPMS/x86_64/cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm

4.修改agent参数
vim /etc/cloudera-scm-agent/config.ini
server_host=hdp1

5.修改cm server数据库信息，要确保可以用scm连接数据库有权限
vim /etc/cloudera-scm-server/db.properties
com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.host=hdp1:3306
com.cloudera.cmf.db.name=scm
com.cloudera.cmf.db.user=scm
com.cloudera.cmf.db.password=scm
com.cloudera.cmf.db.setupType=EXTERNAL

6.执行scm初始化sql脚本
/opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm

7.放置本地parcels包到server所在服务器
mv CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel /opt/cloudera/parcel-repo/
mv CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha /opt/cloudera/parcel-repo/
mv manifest /opt/cloudera/parcel-repo/

启动CDH 集群

启动cm server

systemctl start cloudera-scm-server

tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log 
...
2023-10-14 12:25:10,548 INFO ScmActive-0:com.cloudera.server.cmf.components.ScmActive: ScmActive completed successfully.
...

启动cm agent

systemctl start cloudera-scm-agent

检查

ss -anlp|grep 7180
ss -anlp|grep 9000

进入管理页面

在浏览器输入集群地址即可进入管理页面了，按照提示逐步操作即可。
http://sever_host_ip:7180

配置集群主机信息

图片.png
安装包选项默认

图片.png
选择所需的一些组件

图片.png
集群规划
对于集群组件的规划，主要是比较关键的服务需要放在性能好的节点，如 HMaster、NameNode等，然后对于一些带有Getaway的组件可以每个节点都布置一份，或者仅选一个节点布置。Kafka Broker、DataNode、Yarn Node Manager需要每个节点都布置。

图片.png
数据库相关配置

图片.png
完成安装

图片.png

图片.png