hive开启负载均衡是shuffe阶段吗 hive 负载均衡参数

Beeline version 1.2.1 by Apache Hive
beeline> ! connect jdbc:hive2://node-1:10000

HIVE 优化 （重点别不当回事）

方法一

通过设置 set hive.groupby.skewindata = false，可以解决负载均衡问题。底层原理不清楚。使其不安装key的hash取模的方式，使其随机发送到reduce。减小负债均衡。

方法二 join操作

• 在执行join操作的时候，可以实现多个表之间的join操作。原则就是先将小表放在左边，因为左边会将数据加载到内存中，减小内存溢出的概率。其次就是小表的key相对来说比较分散，join任务执行的快。
• 比如一个字段为null，但是在进行分桶操作的时候，根据这个null的字段进行分桶，会将数据都集中放到一个reduce中。造成数据倾斜，因此可以将null变为一个字符串加上随机数去解决。

1、入门介绍

1.1 运行机制

• HIVE 提供一个客户端窗口，内部有解析器、编译器、执行器、优化器，将程序员输入SQL语句转化为MR程序，通过JOB任务提交到Hadoop集群中去运行。

• 解析器 将SQL语句转换存储到元素据库中，元数据信息是由MySQL数据库保存的
• 编译器 将SQL语句转为MR程序
  。。。。

1.2 系统结构

• 数据最终存储在HDFS上面，元数据存储在derby中、mysql中。HIVE就是利用了HDFS存储能力，MR计算能力
• HIVE的执行流程就是SQL经过解析器、编译器，读取MYSQL数据中的元数据信息。执行器、优化器将转换为一个MR程序，通过Yarn，HDFS数据进行数据的分析统计

1.3 HIVE与传统数据库区别

• 1.数据存储的位置，数据量不同
• 2.执行的SQL语句不同
• 3.执行的效率不同

1.4 HIVE内置derby数据库

• derby是个内存数据，每次开启或者关闭数据会丢失。特点是简单、不需要配置可以直接使用，但是不支持远程调用。只能在自己的进程中完。

思考一

*当我在hive客户端创建一个数据库的时候，会在mysql数据库中创建一个数据库，同时也会在hdfs默认路径上面创建一个user/hive/datahouse/rui.db/，如果查看表内容的时候，看到null的字段的话就代表表识别不了文本数据的内容，查看字段类型

• 注意事项
  （1） 创建变的时候，最好指定可以识别的文本数据类型

create table day_table (id int, content string) partitioned by (dt string) row format delimited fields terminated by ','

（2）将数据加载到创建的表中加local 代表的linux本地，默认是hdfs上面，而且加载数据的文本名字就是数据在表目录下的名字。从hdfs上面加载数据的，数据会被剪切到表的结构中。

load  data inpath '/hive/data-hive' into table rui1  //默认从hdfs上面加载数据，
load  data local inpath '/hive/data-hive' into table rui1  //默认从linux本地上面加载数据

2、表的创建

2.1 分区表的创建

• 分区就是为了辅助查询，减小查询的范围，通过一定条件/规格进行管理，类如国家，下面省、市、县等。
• 分区有两种类型，一个是一个层级的划分、另一个是多层级划分。
• 单表分区

create table day_table (id int, content string) partitioned by (dt string); 
LOAD DATA local INPATH '/root/hivedata/dat_table.txt' INTO TABLE day_table partition(dt='2017-07-07');

• 多表分区

create table day_hour_table (id int, content string) partitioned by (dt string, hour string);
LOAD DATA local INPATH '/root/hivedata/dat_table.txt' INTO TABLE day_hour_table PARTITION(dt='2017-07-07', hour='08');

2.2 分桶 （默认-1）

• 就是将数据放入不同的桶（代表不同的表），分桶的字段可以跟表的字段重复；处获取更高的效率，使取样更加高效，减小笛卡儿积关联查询，方便对数据进行划分取样
• 分桶的好处就是可以将大表的中数据根据 clustered By（Sno）取模/桶数 （底层走dMR程序），进行分别存放在，在执行jion连接的时候 减小查询的次数，提供效率。记住clustered by 与 sort by 不能共存啊，因为分桶的时候会根据分桶字段进行排序。
  步骤
  第一步
  set hive.enforce.bucketing = true; //开启分桶
  set mapreduce.job.reduces=4; // 指定分桶 (默认也代表最大分桶数)

第二步 （按照字段进行分桶） 
create table stu_buck(Sno int,Sname string,Sex string,Sage int,Sdept string)
clustered by(Sno)            // 分桶，在表的下面分成三个文件 
sorted by(Sno DESC)          //这个排序没有作用
into 3 buckets               //具体分桶数以下面的为准
row format delimited
fields terminated by ',';    //分桶的字段,根据Sno的hash值取模

第三步 （导入数据）
load data inpath '/路径' into table stu_buck
insert overwrite table stu_buck
select * from student cluster by(Sno);   //开始真正的计算认为

2.3 外部表/内部表

• 默认情况下创建的是内部表，数据会移动到仓库中，当删除表的时候数据也删除了！当创建外部表的时候，只会记录数据所在的位置，不会数据进行任何改变。
• 在创建外部表的时候需要指定 external关键字，并且指定location关键字，加载外部数据路径，数据一定在hDFS上面；表的关系是在mysql中。HIVE仓库没有。

create external table student_ext(Sno int,Sname string,Sex string,Sage int,Sdept string) row format delimited fields terminated by ',' location '/stu';

• like 复制的表结构，但是不会复制数据

2.4 select load 查询

• load 将数据进行移动，insert 底层是mr

LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO  table  rui
overwrite 数据  指定新路径下面的数据会覆盖原表中的数据，也就是删除原表中的数据，添加数据到新表中。

2.5 多重插入

• 将A表中的字段age，name等字段信息，将age添加到B表中，将name添加到C表中，具体语法见下面
• 注意事项 ： source_table表中字段数目与test_insert1，test_insert2字段数量一致

create table source_table (id int, name string) row format delimited fields terminated by ',';
create table test_insert1 (id int) row format delimited fields terminated by ',';
create table test_insert2 (name string) row format delimited fields terminated by ',';  

from source_table                     
insert overwrite table test_insert1 
select id  // 将source_table 表中的id字段添加到test_insert1中 这个格式记住就可以了
insert overwrite table test_insert2
select name;

2.6 动态分区插入 （看着有点点乱）

• 将dynamic_partition_table中的字段，

需求：
将dynamic_partition_table中的数据按照时间(day)，插入到目标表d_p_t的相应分区中。

原始表：
create table dynamic_partition_table(day string,ip string)row format delimited fields terminated by ","; 

load data local inpath '/root/hivedata/dynamic_partition_table.txt' into table dynamic_partition_table;
2015-05-10,ip1
2015-05-10,ip2
2015-06-14,ip3
2015-06-14,ip4
2015-06-15,ip1
2015-06-15,ip2

目标表：
create table d_p_t(ip string) partitioned by (month string,day string);

动态插入：
insert overwrite table d_p_t partition (month,day) 
select ip,substr(day,1,7) as month,day  //月与天 映射为partition分区
from dynamic_partition_table;  


将查询的结果保存到HDFS/本地linux系统中，加local代表保存到linux中
insert overwrite local directory '/home/hadoop/test/'  //这个路径必须是空，否则会造成本地文件丢失
select * from t_p;  //保存到本地的操作也是调用MR程序去执行，分区数就是对应表创建时的分区，但是所有数据都在一起啊没办法分开吗？

insert overwrite directory '/aaa/test'
select * from t_p;

2.7 查询语句

• order by 根据选择的字段进行全局排序，既然是全局的话只有一个reduce
• sort by 根据同步的reduce进行排序
• disturbute by 只是分桶，不排序，key的hash值
• cluster by 分桶且排序
• cluster by = distribute by + sort by

2.8 HIVE join操作

• 1、HIVE 在执行join操作的时候，只支持等值链接。原因底层要转化为MR，最后到reduce中也就是一个分区中。关键字left semi join和cross join操作 。
• left semi join（hive特殊的链接方式），只返回on条件成功的，但是只显示a表中的内容。相当于inner join的a表内容

select * from a left semi join b on a.id = b.id

    | a.id  | a.name  |
    +-------+---------+--+
    | 2     | b       |
    | 3     | c       |
    | 7     | y       |

• cross join 返回连个表的笛卡尔积结果，且不需要指定字段,效率最低

select a.*,b.* from a cross join b

• 内链接 ，只是返回匹配成功的表内容

select * from a  inner join b on a.id = b.id  //根据on的条件进行匹配

• left/right join ， 以左表为主表 ，左边内容全部出现，匹配成功返回内容，失败返回null字段

select * from a left join b on a.id = b.id  //以左边的表为主表，匹配右边 如果没有匹配成功就返回null

• full outer join （就是全部展示，对于）

3.HIVE函数

• 运算符
• 内置函数

• subStr（’sdfds’,-1,2） //默认是从1开始所有小于1都是1开始 取2位

• HIVE自定义函数 ，UDF （user define fuction），python也可以实现自定义函数

• 1、实现步骤

• 创建一个JAVA项目添加hadoop-common-2.6.4.jar，hive-exec-1.2.1.jar
• 自定义类继承UDF
• 重载方法evaluate，方法实现后 （方法要自定义为public），打成jar导出
• 在hive客户端 add jar /jar的路径
• 调用方式就可以了

4.自定义分隔符（了解）