当前位置: 首页>后端>正文

开源大数据集群部署(一)集群实施规划

作者:櫰木

本次集群规划信息

本次实际生产业务体量存在巨大差异,但集群规划内容相同,因此建议实际生产环境按照按照一定比例扩展即可。

主机操作系统要求

软件信息 参数
配置 8C16G
操作系统版本 CentOS Linux release 7.8.2003 (Core)
java版本 java version "1.8.0_281"
hadoop版本 hadoop 3.2.4

集群版本规划

集群组建 版本
HDFS 3.2.4
YARN 3.2.4
MapReduce2 3.2.4
Hive 3.1.2
HBase 2.1.0
ZooKeeper 3.7.1
Trino 389

主机角色规划

服务器 IP 角色
hd1.dtstack.com(管理节点) 172.16.104.226 namenode/resourcemanager/journalnode/zkfc//hive_metastore/hiveserver2
hd2.dtstack.com(管理节点) 172.16.106.252 namenode/resourcemanager/journalnode/zkfc/hamster/ranger
hd3.dtstack.com(数据节点) 172.16.107.127 datanode/nodemanager/journalnode/
hd1.dtstack.com(kerberos节点) 172.16.106.165 freeipaserver

配置目录规划

所有安装包目录为/opt/hadoop 类似

组件 目录名称 目录
HADOOP hadoop datanode目录 /data/hadoop/dfs/data
hadoop namenode目录 /data/hadoop/dfs/name
hadoop临时目录 /data/hadoop/tmp
ZOOKEEPER zookeeper数据目录 /data/zookeeper/data/
zookeeper日志目录 /data/zookeeper/log/

组件系统用户规划

组件 启动用户 所属组
hdfs(namenode/datanode/zkfc/journalnode) hdfs hadoop
yarn(reourcemanager/nodemanager/) yarn hadoop
zookeeper zookeeper zookeeper
hive hive hadoop
hbase hbase hadoop
mysql mysql mysql
ranger ranger ranger
grafana grafana grafana
prometheus prometheus prometheus
trino trino hadoop

https://www.xamrdz.com/backend/3nm1930500.html

相关文章: