文档章节

hive udf 自定义

s
 sunhongxi
发布于 2014/10/23 17:40
字数 475
阅读 44
收藏 0

用hive也有一段时间里,不过一直没写过相关到日志,因为主要用hive也无非是create table,upload data,CRUD 这几个过程。后来工作中需要用到一些常用到方法,了解到hive中支持UDF(User Define Function),看里一些文章发现UDF到编写也很简单,继承UDF然后重写evaluate方法即可,下面以一个ip2long到方法作为参考。 

1.编写UDF类 


import org.apache.hadoop.hive.ql.exec.UDF;

 

public class NewIP2Long extends UDF {

    public static long ip2long(String ip) {

 

        String[] ips = ip.split("[.]");

        long ipNum = 0;

        if (ips == null) {

            return 0;

        }

        for (int i = 0; i < ips.length; i++) {

            ipNum = ipNum << Byte.SIZE | Long.parseLong(ips[i]);

        }

 

        return ipNum;

    }

 

    public long evaluate(String ip) {

        if (ip.matches("\\d{1,3}\\.\\d{1,3}\\.\\d{1,3}\\.\\d{1,3}")) {

            try {

                long ipNum = ip2long(ip);

                return ipNum;

            } catch (Exception e) {

                return 0;

            }

        } else {

            return 0;

        }

    }

 

    public static void main(String[] argvs) {

        NewIP2Long ipl = new NewIP2Long();

        System.out.println(ip2long("112.64.106.238"));

        System.out.println(ipl.evaluate("58.35.186.62"));

    }

}

2.编译,然后打包成ip2long.jar。 

3.在需要使用ip2long这个方法到时候: 


add jar /tmp/NEWIP2Long.jar;

drop temporary function ip2long;

create temporary function ip2long as 'NewIP2Long';//如果类有包名,要加上包名

select ip2long(ip) from XXX ;

这种方法每次使用都要add,create一下,还是很麻烦,如果能把UDF编译到hive源码中那一定是件很high的事。 


进阶:将自定义UDF编译到hive中


重编译hive: 

  1)将写好的Jave文件拷贝到~/install/hive-0.8.1/src/ql/src/java/org/apache/hadoop/hive/ql/udf/ 


cd  ~/install/hive-0.8.1/src/ql/src/java/org/apache/hadoop/hive/ql/udf/

ls -lhgt |head

  2)修改~/install/hive-0.8.1/src/ql/src/java/org/apache/hadoop/hive/ql/exec/FunctionRegistry.java,增加import和RegisterUDF



import com.meilishuo.hive.udf.UDFIp2Long;   //添加import

 

registerUDF("ip2long", UDFIp2Long.class, false); //添加register

  3)在~/install/hive-0.8.1/src下运行ant -Dhadoop.version=1.0.1 package


?

1

2

cd ~/install/hive-0.8.1/src

ant -Dhadoop.version=1.0.1 package

  4)替换exec的jar包,新生成的包在/hive-0.8.1/src/build/ql目录下,替换链接    


cp hive-exec-0.8.1.jar /hadoop/hive/lib/hive-exec-0.8.1.jar.0628

rm hive-exec-0.8.1.jar

ln -s hive-exec-0.8.1.jar.0628 hive-exec-0.8.1.jar

  5)重启hive服务 

  6)测试 


© 著作权归作者所有

上一篇: hive 流量过程表
下一篇: Hive 流量表规划
s
粉丝 2
博文 7
码字总数 3845
作品 0
朝阳
程序员
私信 提问
Hadoop Hive概念学习系列之hive里的用户定义函数UDF

Hive可以通过实现用户定义函数(User-Defined Functions,UDF)进行扩展(事实上,大多数Hive功能都是通过扩展UDF实现的)。想要开发UDF程序,需要继承org.apache.hadoop.ql.exec.UDF类,并重...

sjyttkl
2018/04/22
0
0
0011-如何在Hive & Impala中使用UDF

1.文档编写目的 本文档讲述如何开发Hive自定义函数(UDF),以及如何在Impala中使用Hive的自定义函数,通过本文档,您将学习到以下知识: 1.如何使用Java开发Hive的自定义函数 2.如何在Hive中...

Hadoop实操
2018/11/17
48
0
hive自定义函数

自定义函数包括三种UDF、UDAF、UDTF UDF(User-Defined-Function) 一进一出 UDAF(User- Defined Aggregation Funcation) 聚集函数,多进一出。Count/max/min UDTF(User-Defined Table-Generat......

张欢19933
2016/09/20
100
0
hive自定义udf实现md5功能

Hive自定义UDF实现md5算法 Hive发展至今,自身已经非常成熟了,但是为了灵活性,还是提供了各种各样的插件的方式,只有你想不到的,没有做不到的,主流的开源框架都有类似的机制,包括Hadoo...

九劫散仙
2016/05/24
279
0
Hive 随谈(六)– Hive 的扩展特性

Hive 是一个很开放的系统,很多内容都支持用户定制,包括: 文件格式:Text File,Sequence File 内存中的数据格式: Java Integer/String, Hadoop IntWritable/Text 用户提供的 map/reduce...

红薯
2010/04/21
3.1K
1

没有更多内容

加载失败,请刷新页面

加载更多

Mysql的sql_mode模式

sql_mode 是一个很容易被忽视的配置,宽松模式下可能会被输入一些非准确数据,所以生产环境下会要求为严格模式,为了保持生产环境和开发环境,测试环境一致性,我们开发环境和测试环境也要配...

贾峰uk
40分钟前
4
0
Qt程序打包发布方法(使用官方提供的windeployqt工具)

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。 本文链接:https://blog.csdn.net/toTheUnknown/article/details/81748179 如果使用到了Qt ...

shzwork
今天
7
0
MainThreadSupport

MainThreadSupport EventBus 3.0 中的代码片段. org.greenrobot.eventbus.MainThreadSupport 定义一个接口,并给出默认实现类. 调用者可以在EventBus的构建者中替换该实现. public interface ...

马湖村第九后羿
今天
3
0
指定要使用的形状来代替文字的显示

控制手机键盘弹出的功能只能在ios上实现,安卓是实现不了的,所以安卓只能使用type类型来控制键盘类型,例如你要弹出数字键盘就使用type="number",如果要弹出电话键盘就使用type="tel",但这...

前端老手
今天
8
0
总结:Raft协议

一、Raft协议是什么? 分布式一致性算法。即解决分布式系统中各个副本数据一致性问题。 二、Raft的日志广播过程 发送日志到所有Followers(Raft中将非Leader节点称为Follower)。 Followers收...

浮躁的码农
今天
7
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部