当前位置：首页>数据库>正文

如何查看hiveservice的进程 hive查看所有udf

数据库2024-05-05 23:00:17

Hive学习3-UDF

1 UDF

1.1 概述

可参考：

HivePlugins
Hive Operators and User-Defined Functions (UDFs) Hive自带Function函数

Hive中有三种UDF: UDF（最常使用的）、UDAF（即用户定义聚集函数，user-defined aggregate function)以及UDTF（用户定义表生成函数，user-defined table-generating function)。它们所接受的输入和产生的输出的数据行的数量不同。

HiveUDF分为Temporary Functions和Permanent Functions。

1.2 Function Jar上传和注册

这里使用Hive官方例子，即字符串转为小写。

首先我们在pom.xml引入UDF用到的依赖包，version替换为你自己的即可：

<properties>
    <hadoop.version>2.7.3</hadoop.version>
    <hive.version>2.3.0</hive.version>
</properties>

<dependencies>
    <dependency>
        <groupId>org.apache.hive</groupId>
        <artifactId>hive-exec</artifactId>
        <version>${hive.version}</version>
    </dependency>

    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>${hadoop.version}</version>
    </dependency>
</dependencies>

写出你的UDF代码：

package com.chengc.demos.hive.test.udf.test1;

import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;
 
public final class Lower extends UDF {
  public Text evaluate(final Text s) {
    if (s == null) { return null; }
    return new Text(s.toString().toLowerCase());
  }
}

Session级别部署UDF Jar包，重开Cli后失效：

add jar /Users/chengc/cc/work/projects/hive-test/udf-test1/target/udf-test1-1.0-SNAPSHOT.jar;

查看add的所有jar:

list jars;

+----------------------------------------------------+
|                      resource                      |
+----------------------------------------------------+
| /Users/chengc/cc/work/projects/hive-test/udf-test1/target/udf-test1-1.0-SNAPSHOT.jar |
+----------------------------------------------------+

我们也可以通过hdfs命令上传UDF Jar到某目录下，适用于permanent function：

hdfs dfs -put udf-test1-1.0-SNAPSHOT.jar /tmp/hive/udf

1.3 Temporary Functions

1.3.1 Create Function

CREATE TEMPORARY FUNCTION my_lower_tmp AS 'com.chengc.demos.hive.test.udf.test1.Lower';;

以上为创建Session级别的临时函数。

现在试用下这个临时函数：

select my_lower_tmp('APPLE');

+--------+
|  _c0   |
+--------+
| apple  |
+--------+

可以看到该函数将我们传入的大写字符串转为了小写。

1.3.2 Drop Function

DROP TEMPORARY FUNCTION [IF EXISTS] function_name;

需要注意的是，Drop不会删除UDF对应的再HDFS上的Jar包，必须按需手动删除。

1.4 Permanent Functions

1.4.1 Create Function

CREATE FUNCTION [db_name.]function_name AS class_name
  [USING JAR|FILE|ARCHIVE 'file_uri' [, JAR|FILE|ARCHIVE 'file_uri'] ];

该function将被添加到指定的数据库，或添加到当前数据库。

可以通过全限定函数名称（db_name.function_name）来引用该函数。或若该函数位于当前数据库中，则可以不带限定地对其进行引用。

例子如下：

create function my_lower_permanent  as 'com.chengc.demos.hive.test.udf.test1.Lower' using jar 'hdfs:///tmp/hive/udf/udf-test1-1.0-SNAPSHOT.jar' ;

使用该永久函数：

select my_lower_permanent('APPLE');

+--------+
|  _c0   |
+--------+
| apple  |
+--------+

而且，就算退出后重启Beeline，该函数依旧有效！

1.4.2 Drop Function

DROP FUNCTION [IF EXISTS] function_name;

1.4.3 Reload Function

RELOAD (FUNCTIONS|FUNCTION);

如果一个Hive CLI会话中的Permanent Function是在HiveServer2或其他Hive CLI开启之后创建的，则它们可能不会反映在HiveServer2或其他Hive CLI会话中。在HiveServer2或HiveCLI会话中发出RELOAD FUNCTIONS将允许获取对Permanent Function的任何更改。

2 UDF

2.1 概述

UDF操作作用于单个数据行，且产生一个数据行作为输出。大多数函数
(例如数学函数和字符串函数)都属于这一类。

2.2 例子

3 UDAF

可参考GenericUDAFCaseStudy

3.1 概述

UDAF接受多个输入数据行，并产生一个输出数据行。

像COUNT和MAX这样的函数都是聚集函数。

3.2 例子

4 UDTF

4.1 概述

可参考Hive-UDTF-DeveloperGuide

UDTF操作作用于单个数据行，且产生多个数据行(即一个表)作为输出。

4.2 Hive部分自带TF

4.2.1 explode

4.3 例子