当前位置：首页>数据库>正文

hadoop数据库 MySQL hadoop数据库设计

数据库2024-05-21 23:30:21

简介

Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类 SQL 查询功能。

本质是将 SQL 转换为 MapReduce 程序。

主要用途：用来做离线数据分析，比直接用 MapReduce 开发效率更高。Hive 利用 HDFS 存储数据，利用 MapReduce 查询分析数据。

数据库和数据仓库的区别在于：

数据库是面向事务的设计，数据仓库是面向主题设计的。
数据库一般存储业务数据，数据仓库存储的一般是历史数据。
数据库设计是尽量避免冗余，一般针对某一业务应用进行设计，比如一张简单的 User 表，记录用户名、密码等简单数据即可，符合业务应用，但是不符合分析。数据仓库在设计是有意引入冗余，依照分析需求，分析维度、分析指标进行设计。
数据库是为捕获数据而设计，数据仓库是为分析数据而设计。

hadoop数据库 MySQL hadoop数据库设计,hadoop数据库 MySQL hadoop数据库设计_数据,第1张

Hive优缺点

优点：

可扩展性,横向扩展，Hive 可以自由的扩展集群的规模，一般情况下不需要重启服务横向扩展：通过分担压力的方式扩展集群的规模纵向扩展：一台服务器cpu i7-6700k 4核心8线程，8核心16线程，内存64G => 128G
延展性，Hive 支持自定义函数，用户可以根据自己的需求来实现自己的函数
良好的容错性，可以保障即使有节点出现问题，SQL 语句仍可完成执行

缺点：

Hive 不支持记录级别的增删改操作，但是用户可以通过查询生成新表或者将查询结果导入到文件中（当前选择的 hive-2.3.2 的版本支持记录级别的插入操作）
Hive 的查询延时很严重，因为 MapReduce Job 的启动过程消耗很长时间，所以不能用在交互查询系统中。
Hive 不支持事务（因为不没有增删改，所以主要用来做 OLAP（联机分析处理），而不是 OLTP（联机事务处理），这就是数据处理的两大级别）。

Hive架构

hadoop数据库 MySQL hadoop数据库设计,hadoop数据库 MySQL hadoop数据库设计_hive_02,第2张

hive client我们一般用shell，hive metastore 我们一般配置成mysql。

Hive数据模型

Hive 中所有的数据都存储在 HDFS 中，没有专门的数据存储格式
在创建表时指定数据中的分隔符，Hive 就可以映射成功，解析数据。

Hive 中包含以下数据模型：

db ：在 hdfs 中表现为 hive.metastore.warehouse.dir 目录下一个文件夹
table ：在 hdfs 中表现所属 db 目录下一个文件夹
external table ：数据存放位置可以在 HDFS 任意指定路径
partition ：在 hdfs 中表现为 table 目录下的子目录
bucket ：在 hdfs 中表现为同一个表目录下根据 hash 散列之后的多个文件
view：与传统数据库类似，只读，基于基本表创建

Hive安装部署

1，Hive 安装前需要安装好 JDK 和 Hadoop。配置好环境变量。

2，上传安装文件 apache-hive-x.x.x-bin.tar.gz，并解压。

3，配置HIVE_HOME环境变量

vi  /export/servers/hive/conf/hive-env.sh 

配置其中的HADOOP_HOME
export HADOOP_HOME=/export/servers/hadoop-2.7.4

4，配置元数据库信息，在conf文件夹内新添加hive-site.xml文件（分别配置mysql的位置，mysql的Driver，mysql的账号和密码）

vi  hive-site.xml

<configuration>
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://192.168.44.31:3306/hive?createDatabaseIfNotExist=true</value>
        <description>JDBC connect string for a JDBC metastore</description>
    </property>

    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
        <description>Driver class name for a JDBC metastore</description>
    </property>

    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
        <description>username to use against metastore database</description>
    </property>

    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>root</value>
        <description>password to use against metastore database</description>
    </property>
</configuration>

5，把mysql-connector-java-5.1.32.jar上传到 Hive的lib文件夹中

6，启动hive，我们一般把Hive当做服务启动

启动Hive
bin/hiveserver2

启动成功后，可以在别的节点上用beeline去连接
[root@bigdata-02 bin]# ./beeline 
Beeline version 1.2.1 by Apache Hive
beeline> ! connect jdbc:hive2://bigdata-01:10000
Connecting to jdbc:hive2://bigdata-01:10000
Enter username for jdbc:hive2://bigdata-01:10000: root
Enter password for jdbc:hive2://bigdata-01:10000: ******
Connected to: Apache Hive (version 1.2.1)
Driver: Hive JDBC (version 1.2.1)
Transaction isolation: TRANSACTION_REPEATABLE_READ

查看全文

https://www.xamrdz.com/database/6kg1961143.html

简介

Hive优缺点

Hive架构

Hive数据模型

Hive安装部署

相关文章：