前文我们讲了怎么用Hive的内置函数解析json字符串,不了解的小伙伴可以先看下前文。
文章最后我们遇到了一个问题,Hive的内置函数无法解析json数组字符串,今天我们就来看下,如何通过自定义UDF函数解析json数组。
通过本文你将会学习到:
- 如何用Java代码写Hive自定义函数
- 如何将自定义函数设置为Hive的函数
- 自定义函数的使用
前文遗留的问题
先看下前文遗留的问题:
上图所示是我们通过Hive内置函数解析json字符串得到的字段,但是继续解析players字段时遇到了瓶颈。
思路
先抛开这个问题不谈,相信大家都了解过Hive的表生成函数explode,该函数接收一个ARRAY类型,返回值是传入的array的每个元素。以下是它的用法:
hive> SELECT explode(array('{"id":1,"name":"zs"}','{"id":2,"name":"ls"}'));
# 返回值为
{"id":1,"name":"zs"}
{"id":2,"name":"ls"}
那么我们能否通过自定义UDF函数将前文的players字段(json数组)转化为array类型,作为explode的参数呢?
下面我们就来实践一下:
UDF函数编写
Hive编写自定义UDF函数需要引入如下两个依赖到POM文件:
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>${hadoop.version}</version>
</dependency>
<dependency>
<groupId>org.apache.hive</groupId>
<artifactId>hive-exec</artifactId>
<version>${hive.version}</version>
</dependency>
hadoop.version和hive.version对应集群中hive和hadoop的版本。
然后就是Java代码编写部分,这部分只需要继承UDF函数,然后写一个evaluate方法即可,evaluate函数接收json数组作为输入,返回值为一个ArrayList<String>。详细代码如下:
package com.xxx.xxx.xxx;
import org.apache.hadoop.hive.ql.exec.Description;
import org.apache.hadoop.hive.ql.exec.UDF;
import org.json.JSONArray;
import org.json.JSONException;
import java.util.ArrayList;
/**
* <p>Title:json_array_parser udf</p>
*
* @author Arya
* @date 2021/5/30 10:52
*/
@Description(name = "json_array_parser",
value = "_FUNC_(json_arr_string) - from the input jsonArray string, " +
"returns hive array string.",
extended = "Examples:\n" +
"> SELECT _FUNC_(json_arr_string) FROM src;"
)
public class UDFJsonArrayParser extends UDF {
public ArrayList<String> evaluate(String jsonArrayStr) {
if(jsonArrayStr == null) {
return null;
}
try {
JSONArray jsonArray = new JSONArray(jsonArrayStr);
ArrayList<String> result = new ArrayList<>();
for (int i = 0; i < jsonArray.length(); i++) {
result.add(jsonArray.get(i).toString());
}
return result;
} catch (JSONException e) {
return null;
}
}
}
@Description注解注明了函数的文档说明,name定义了函数名,value定义了函数的使用方法(DESCRIBE FUNCTION ...可查看),extended定义了函数的使用例子(DESCRIBE FUNCTION EXTENDED ...可查看)。
编写完毕后使用mvn package命令打包,然后将jar包上传到linux本地文件系统。
使用自定义UDF
首先我们要把打好的JAR包加入到类路径下,并在Hive会话中声明自定义UDF函数:
# hive会话级(其他会话不能使用)
hive> ADD JAR /home/bi/test/da-hive-udf-1.0-SNAPSHOT.jar;
Added [/home/bi/test/da-hive-udf-1.0-SNAPSHOT.jar] to class path
Added resources: [/home/bi/test/da-hive-udf-1.0-SNAPSHOT.jar]
# 创建临时函数
hive> CREATE TEMPORARY FUNCTION json_array_parser AS 'com.xxx.xxx.xxx.UDFJsonArrayParser';
OK
Time taken: 0.13 seconds
通过DESCRIBE命令查看函数:
通过自定义函数解析json数组。
hive> SELECT t1.logdate,t1.logtype,t1.game_id,t1.timestamp,t1.start_time,p.player
> FROM (
> SELECT t.logdate,t.logtype,players,game_id,timestamp,start_time
> FROM stark.game_result_test t
> lateral view json_tuple(t.content,'players','game_id','timestamp','start_time') a AS players,game_id,timestamp,start_time
> ) t1 lateral view explode(json_array_parser(t1.players)) p AS player;
返回结果
不难看出players字段已经被拆分成了一个个player,后续player内的字段通过前文的json_tuple函数或get_json_object函数解析即可。
最后
本文从解析json数组出发,带领大家简单地完成了一个UDF函数的编写,并通过案例,介绍了自定义UDF的使用。实际应用中大家只需要把UDF函数注册为Hive的永久函数即可。