当前位置: 首页>后端>正文

greenplum图文介绍 greenplum 知乎

一、目的

1、 理解Greenplum中的数据分布策略(random 和 distribution),分析不同分布策略的优劣;
2、 理解查询执行中的数据广播和数据重分布,分析在何种情况下选择哪种策略,以具体实验验证;

3、借助explain指令,分析select、join、group等常用sql语句的执行流程;

4、查看相关文档理解SQL中窗口函数的语义,分析窗口函数的执行语义,以实验验证。

(复制)

二、 使用环境

主机数量:3台虚拟机,1台master单核2G内存,2台slave单核1.5G内存

虚拟机:VMware 10.0

操作系统:CentOS 6.7

Greenplum版本:4.3.99.00(PostgreSQL  8.3.23)

二、实验过程

1、Greenplum数据分布策略random与hash-distribution

首先,创建一张原始表,输入一些数据,不指定分布键,默认以第一列作为分布键。

 

greenplum图文介绍 greenplum 知乎,greenplum图文介绍 greenplum 知乎_操作系统,第1张

可以修改分布键,按c3列分布。

 

greenplum图文介绍 greenplum 知乎,greenplum图文介绍 greenplum 知乎_greenplum图文介绍_02,第2张

插入一些数据,然后查看数据分布。

 

greenplum图文介绍 greenplum 知乎,greenplum图文介绍 greenplum 知乎_数据_03,第3张

可以观察到,按c3列的值进行哈希分布。c3=3的值全部分布到seg0,因此可以看出,若分布键不均匀,以hash分布的方式分布数据,存在数据偏移。

修改分布策略为随机分布,查看数据分布。

 

greenplum图文介绍 greenplum 知乎,greenplum图文介绍 greenplum 知乎_数据库_04,第4张

咋一看,数据分布也不均匀,但是这可能是由于数据量过少,随机分布出现的偏差。重新组织数据,再次查看,发现数据分布比较均匀了。而且,可以看到,c3=3的行被分散到不同的seg中去。

greenplum图文介绍 greenplum 知乎,greenplum图文介绍 greenplum 知乎_运维_05,第5张

总结GP的分布策略,采用随机的分布方式,数据分布较为均匀。按分布键的方式进行哈希分布,不一定能够保证数据不会存在偏移,但是对于读取数据应该较为友好。可以不必遍历所有的seg节点。

 

2、数据广播和数据重分布

关联数据在不同节点上的,需要通过网络流入到一个节点上执行连接操作,产生了数据迁移,GP中的数据迁移方式为数据广播和数据重分布。

数据重分布,使用上次作业所导入的表,进行连接操作,发现查询计划使用了数据重复布执行。

 

greenplum图文介绍 greenplum 知乎,greenplum图文介绍 greenplum 知乎_数据库_06,第6张

数据广播,创建一个小表oders_replay,使其与大表做连接,发现查询的执行方式变成数据广播方式。

 

greenplum图文介绍 greenplum 知乎,greenplum图文介绍 greenplum 知乎_数据库_07,第7张

因此,总结上面GP策略的选择上,若数据量相差比较大的情况下,将小表广播到各个seg节点上,会执行的更快。若数据量基本相当,则使用数据重分布的方式,通常代价比较小。

、sql执行流程

Select语句执行:

greenplum图文介绍 greenplum 知乎,greenplum图文介绍 greenplum 知乎_操作系统_08,第8张

根据上图所示,”select *,cume_dist() over(order by grade) from stugrade;”语句是一个嵌套循环查询,循环内先做调用聚集函数。分布式执行过程采用Gather Motion(N:1)方式将所有子节点汇合数据到slice 1(master)上。顺序扫描全表,按grade合并,再排序。

语句执行:

greenplum图文介绍 greenplum 知乎,greenplum图文介绍 greenplum 知乎_数据库_09,第9张

上面的Join语句同样是采用Gather Motion(N:1)方式迁移数据,之后采用hash join的方式进行连接。

Group 语句执行:

greenplum图文介绍 greenplum 知乎,greenplum图文介绍 greenplum 知乎_操作系统_10,第10张

Group语句以grade属性进行成组,统计各grade的人数,sql执行过程是,数据按grade键重分布,顺序扫描stugrade表,然后使用hash方式是以grade属性成组,最后迁移到一个节点进行统计返回结果。

4、窗口函数

 

窗口函数是只能在select语句中使用的一直函数类型,每一行返回一个值,结果按照当前行或行所对应的窗口分隔、框架来说明,使用时带有over语句。所有窗口函数都使用over()语句作为条件,可在括号中指定应用的函数。

 

窗口函数表:

 

函数

返回类型

语法

描述

cume_dist()

double precision

CUME_DIST() OVER ( [PARTITION

BY expr ] ORDER BY expr )

计算一组只中值的累计分布。具有相同值的行有相同的累计分布值。

dense_rank()

bigint

DENSE_RANK () OVER

( [PARTITION BY expr ] ORDER BY

expr )

计算在一个无跳过的有序组中的行的排行值。

first_value(expr)

same as input expr

type

FIRST_VALUE( expr ) OVER

( [PARTITION BY expr ] ORDER BY

expr [ROWS|RANGE frame_expr ] )

返回一个有序集合中的第一个元素的值

lag(expr[,offset] [,default])

same as input expr

type

LAG( expr [, offset ] [, default ])

OVER ( [PARTITION BY expr ]

ORDER BY expr )

提供一个访问同一个表的多行数据,而不用做自连接。从查询中返回一系列行的游标。LAG提供在给定偏移上的一行的访问。默认偏移是1。如果偏移超过范围,讲返回默认值。若默认值没有指定,则默认值为空。

last_value(expr)

same as input expr

type

LAST_VALUE(expr) OVER

( [PARTITION BY expr ] ORDER BY

expr [ROWS|RANGE frame_expr ] )

返回一个有序集合中的最后一个元素的值

lead(expr [,offset]

[,default])

same as input expr

type

LEAD(expr [,offset]

[,exprdefault]) OVER

( [PARTITION BY expr ] ORDER BY expr )

提供一个访问同一个表的多行数据,而不用做自连接。从查询中返回一系列行的游标。Lead提供在给定偏移上的一行的访问。默认偏移是1。如果偏移超过范围,讲返回默认值。若默认值没有指定,则默认值为空。

ntile(expr)

bigint

NTILE(expr) OVER ( [PARTITION

BY expr ] ORDER BY expr )

将一个有序的数据集划分成若干桶(由表达式定义),假设每一行放进一个桶中。

percent_rank()

double precision

PERCENT_RANK () OVER

( [PARTITION BY expr ] ORDER BY

expr )

计算在数据集中的百分比。

rank()

bigint

RANK () OVER ( [PARTITION BY

expr ] ORDER BY expr )

计算一个有序组中的排名,相同值的排名相同,所以排名可能不连续。

row_number()

bigint

ROW_NUMBER () OVER

( [PARTITION BY expr ] ORDER BY

expr )

将一个唯一的数字分配给分区中的每一行或这个查询的每一行。

简单的对上面的几个窗口函数进行测试。

Row_number():

greenplum图文介绍 greenplum 知乎,greenplum图文介绍 greenplum 知乎_数据_11,第11张

Rank():

greenplum图文介绍 greenplum 知乎,greenplum图文介绍 greenplum 知乎_运维_12,第12张

Percent_rank(): 这里的百分比是指在之前n-1行的百分比累计值。相同行值的百分比值相同。

greenplum图文介绍 greenplum 知乎,greenplum图文介绍 greenplum 知乎_运维_13,第13张

和first_value(expr):last取分区内最后一个元素,first区第一个元素。

 

greenplum图文介绍 greenplum 知乎,greenplum图文介绍 greenplum 知乎_运维_14,第14张

Cume_dist():

greenplum图文介绍 greenplum 知乎,greenplum图文介绍 greenplum 知乎_数据库_15,第15张

5.附注

*

 



https://www.xamrdz.com/backend/3gj1924669.html

相关文章: