文档章节

0011-如何在Hive & Impala中使用UDF

Hadoop实操
 Hadoop实操
发布于 2018/11/17 20:45
字数 1180
阅读 46
收藏 0

1.文档编写目的

本文档讲述如何开发Hive自定义函数(UDF),以及如何在Impala中使用Hive的自定义函数,通过本文档,您将学习到以下知识:

1.如何使用Java开发Hive的自定义函数

2.如何在Hive中创建自定义函数及使用

3.如何在Impala中使用Hive的自定义函数

这篇文档将重点介绍UDF在Hive和Impala的使用,并基于以下假设:

1.集群环境正常运行

2.集群安装Hive和Impala服务

以下是本次测试环境,但不是本操作手册的硬限制:

1.操作系统:Redhat6.5

2.CDH和CM版本为5.11.1

3.采用sudo权限的ec2-user用户进行操作

2.UDF函数开发

使用Intellij工具开发Hive的UDF函数,进行编译;

1.使用Intellij工具通过Maven创建一个Java工程

2.pom.xml文件中增加Hive包的依赖

<dependency>
  <groupId>org.apache.hive</groupId>
  <artifactId>hive-exec</artifactId>
  <version>1.1.0</version>
</dependency>

3.Java示例代码如下

package com.peach.date;

import org.apache.hadoop.hive.ql.exec.UDF;
import java.text.ParseException;
import java.text.SimpleDateFormat;

/**
 * SQL的UDF日期相关工具类
 * Created by peach on 2017/8/24.
 */
public class DateUtils extends UDF {
 /**
     * 将日期字符串格式化为标准的日期格式
     * 如:
     * 2017-8-9 to 2017-08-09
     * 2017-08-09 9:23:3 to 2017-08-0909:23:03
     * @param sdate
 * @param pattern
 * @return
 */
 public static String evaluate(Stringsdate, String pattern) {
        String formatDate = sdate;
 SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
        try {
            formatDate =sdf.format(sdf.parse(sdate));
 } catch (ParseException e) {
            e.printStackTrace();
 }
 return formatDate;
 }
}

此处使用一个简单的日期转换自定义函数来做事例,注意此处需要集成UDF类,重写evaluate方法,来实现自己定义函数。

4.编译jar包

前提条件是已配置Maven的环境变量,命令行进入工程目录,执行如下命令:

 mvn clean  package 

3.Hive使用自定义函数(UDF)

将章节2中编译好的sql-udf-utils-1.0-SNAPSHOT.jar上传到集群服务器;

3.1创建临时UDF

1.进入Hive的shell命令行,执行如下命令,创建临时函数

add jar  /home/ec2-user/sql-udf-utils-1.0-SNAPSHOT.jar;create  temporary function parse\_date as 'com.peach.date.DateUtils'; 

2.在命令行测试该UDF函数

select  parse\_date(dates, 'yyyy-MM-dd HH:mm:ss') from date\_test1; 

3.2创建永久UDF

1.在HDFS中创建相应目录,将sql-udf-utils-1.0-SNAPSHOT.jar包上传至该目录

ec2-user@ip-172-31-8-141  ~$ hadoop dfs -mkdir /udfjar
ec2-user@ip-172-31-8-141  ~$ hadoop dfs -put sql-udf-utils-1.0-SNAPSHOT.jar /udfjar 

注意:目录udfjar和sql-udf-utils-1.0-SNAPSHOT.jar的权限,所属用户为hive

2.进入Hive的shell命令行,执行如下命令创建永久的UDF

create  function default.parse\_date as 'com.peach.date.DateUtils' using jar  'hdfs://ip-172-31-9-186.ap-southeast-1.compute.internal:8020/udfjar/sql-udf-utils-1.0-SNAPSHOT.jar'; 

注意:在创建的时候如果带有数据库名,则该UDF函数只对该库生效,其它库无法使用该UDF函数。

3.在命令行测试该UDF

 select  parse\_date(dates, 'yyyy-MM-dd HH:mm:ss') from date\_test1; 

4.验证永久UDF函数是否生效

重新打开Hive CLI能正常使用创建的UDF函数。

4.Impala使用Hive的UDF

1.在Impala shell命令行执行元数据同步命令

ip-172-31-10-156.ap-southeast-1.compute.internal:21000  > invalidate metadata; 

2.使用UDF函数

ip-172-31-10-156.ap-southeast-1.compute.internal:21000  > select parse\_date(dates,'yyyy-MM-dd HH:mm:ss') from date\_test1; 

5.常见问题

1.通过Impala CLI命令行,使用UDF自定义函数时异常

Connected to ip-172-31-10-156.ap-southeast-1.compute.internal:21000

Server version: impalad version 2.7.0-cdh5.10.2 RELEASE (build 38c989c0330ea952133111e41965ff9af96412d3)

[ip-172-31-10-156.ap-southeast-1.compute.internal:21000] > select parse_date(dates) from date_test1;

Query: select parse_date(dates) from date_test1

Query submitted at: 2017-08-24 12:51:44 (Coordinator: http://ip-172-31-10-156.ap-southeast-1.compute.internal:25000)

ERROR: AnalysisException: default.parse_date() unknown

元数据未同步导致,执行如下命令进行元数据同步:

[ip-172-31-10-156.ap-southeast-1.compute.internal:21000] > invalidate metadata;

2.在Impala CLI命令行执行,异常如下

[ip-172-31-10-156.ap-southeast-1.compute.internal:21000] > select parse_date(dates,'yyyy-MM-dd HH:mm:ss') from date_test1;

Query: select parse_date(dates,'yyyy-MM-dd HH:mm:ss') from date_test1

Query submitted at: 2017-08-24 13:02:14 (Coordinator: http://ip-172-31-10-156.ap-southeast-1.compute.internal:25000)

ERROR: Failed to copy hdfs://ip-172-31-9-186.ap-southeast-1.compute.internal:8020/udfjar/sql-udf-utils-1.0-SNAPSHOT.jar to /var/lib/impala/udfs/sql-udf-utils-1.0-SNAPSHOT.2386.2.jar:

Error(2): No such file or directory

在Impala Daemon服务器上,目录不存在导致

解决方法:

在所有Impala Daemon服务器创建/var/lib/impala/udfs目录


[ec2-user@ip-172-31-10-156 lib]$ sudo mkdir -p impala/udf

[ec2-user@ip-172-31-10-156 lib]$ sudo chown -R impala:impala impala/

注意:目录所属用户及组

© 著作权归作者所有

Hadoop实操
粉丝 2
博文 42
码字总数 66713
作品 0
南戴河
私信 提问
自己动手写Impala UDF

概述 出于对可扩展性和性能的考虑,UDF已变成大数据生态圈查询引擎的必备功能之一,无论是Calcite、Hive、Impala都对其进行支持,但是UDF的支持有利也有弊,好处在于它提供了对某些用户独有需...

Zero零_度
2016/10/12
159
0
Impala安装json解析udf插件

背景 Impala跟Hive一样,是常用的数据仓库组件之一。熟悉Hive的同学肯定知道,Hive官方提供了getjsonobject函数用于处理json字符串,但是Impala官方并没有提供类似的方法,好在是有第三方实现...

wooyoo
2017/04/18
0
0
自己动手写Impala UDF

本文由 网易云 发布 概述 出于对可扩展性和性能的考虑,UDF已变成大数据生态圈查询引擎的必备功能之一,无论是Calcite、Hive、Impala都对其进行支持,但是UDF的支持有利也有弊,好处在于它提...

wangyiyungw
2018/05/07
0
0
Hadoop上时实类SQL查询系统对比

转载请注明作者与出处 作者:martin_li 网址:http://my.oschina.net/Senger/blog/180140 以前只用过Hive与impala两个类SQL查询系统,最近又将Hortonworks开源的Stinger与Apache的Drill做了些...

martin_li
2013/11/29
5.4K
10
impala测试报告

机器环境: 4个slave节点 10.200.187.86 cslave1 4核 3G 10.200.187.87 cslave2 2核 4G 10.200.187.88 cslave3 2核 4G 10.200.187.89 cslave4 2核 6G 测试效果: [img] [/img] 总结: 1.在内......

Zero零_度
2016/06/08
41
0

没有更多内容

加载失败,请刷新页面

加载更多

OpenStack 简介和几种安装方式总结

OpenStack :是一个由NASA和Rackspace合作研发并发起的,以Apache许可证授权的自由软件和开放源代码项目。项目目标是提供实施简单、可大规模扩展、丰富、标准统一的云计算管理平台。OpenSta...

小海bug
昨天
5
0
DDD(五)

1、引言 之前学习了解了DDD中实体这一概念,那么接下来需要了解的就是值对象、唯一标识。值对象,值就是数字1、2、3,字符串“1”,“2”,“3”,值时对象的特征,对象是一个事物的具体描述...

MrYuZixian
昨天
6
0
数据库中间件MyCat

什么是MyCat? 查看官网的介绍是这样说的 一个彻底开源的,面向企业应用开发的大数据库集群 支持事务、ACID、可以替代MySQL的加强版数据库 一个可以视为MySQL集群的企业级数据库,用来替代昂贵...

沉浮_
昨天
6
0
解决Mac下VSCode打开zsh乱码

1.乱码问题 iTerm2终端使用Zsh,并且配置Zsh主题,该主题主题需要安装字体来支持箭头效果,在iTerm2中设置这个字体,但是VSCode里这个箭头还是显示乱码。 iTerm2展示如下: VSCode展示如下: 2...

HelloDeveloper
昨天
7
0
常用物流快递单号查询接口种类及对接方法

目前快递查询接口有两种方式可以对接,一是和顺丰、圆通、中通、天天、韵达、德邦这些快递公司一一对接接口,二是和快递鸟这样第三方集成接口一次性对接多家常用快递。第一种耗费时间长,但是...

程序的小猿
昨天
10
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部