文档章节

hive利器 自定义UDF+重编译hive

王二铁
 王二铁
发布于 2012/06/28 18:52
字数 474
阅读 4.2K
收藏 14
用hive也有一段时间里,不过一直没写过相关到日志,因为主要用hive也无非是create table,upload data,CRUD 这几个过程。后来工作中需要用到一些常用到方法,了解到hive中支持UDF(User Define Function),看里一些文章发现UDF到编写也很简单,继承UDF然后重写evaluate方法即可,下面以一个ip2long到方法作为参考。
1.编写UDF类
import org.apache.hadoop.hive.ql.exec.UDF;

public class NewIP2Long extends UDF {
    public static long ip2long(String ip) {

        String[] ips = ip.split("[.]");
        long ipNum = 0;
        if (ips == null) {
            return 0;
        }
        for (int i = 0; i < ips.length; i++) {
            ipNum = ipNum << Byte.SIZE | Long.parseLong(ips[i]);
        }

        return ipNum;
    }

    public long evaluate(String ip) {
        if (ip.matches("\\d{1,3}\\.\\d{1,3}\\.\\d{1,3}\\.\\d{1,3}")) {
            try {
                long ipNum = ip2long(ip);
                return ipNum;
            } catch (Exception e) {
                return 0;
            }
        } else {
            return 0;
        }
    }

    public static void main(String[] argvs) {
        NewIP2Long ipl = new NewIP2Long();
        System.out.println(ip2long("112.64.106.238"));
        System.out.println(ipl.evaluate("58.35.186.62"));
    }
}

2.编译,然后打包成ip2long.jar。
3.在需要使用ip2long这个方法到时候:
add jar /tmp/NEWIP2Long.jar;
drop temporary function ip2long;
create temporary function ip2long as 'NewIP2Long';//如果类有包名,要加上包名
select ip2long(ip) from XXX ;
这种方法每次使用都要add,create一下,还是很麻烦,如果能把UDF编译到hive源码中那一定是件很high的事。

进阶:将自定义UDF编译到hive中

重编译hive:
  1)将写好的Jave文件拷贝到~/install/hive-0.8.1/src/ql/src/java/org/apache/hadoop/hive/ql/udf/
cd  ~/install/hive-0.8.1/src/ql/src/java/org/apache/hadoop/hive/ql/udf/
ls -lhgt |head

  2)修改~/install/hive-0.8.1/src/ql/src/java/org/apache/hadoop/hive/ql/exec/FunctionRegistry.java,增加import和RegisterUDF

import com.meilishuo.hive.udf.UDFIp2Long;   //添加import

registerUDF("ip2long", UDFIp2Long.class, false); //添加register

  3)在~/install/hive-0.8.1/src下运行ant -Dhadoop.version=1.0.1 package

cd ~/install/hive-0.8.1/src
ant -Dhadoop.version=1.0.1 package
  4)替换exec的jar包,新生成的包在/hive-0.8.1/src/build/ql目录下,替换链接   
cp hive-exec-0.8.1.jar /hadoop/hive/lib/hive-exec-0.8.1.jar.0628
rm hive-exec-0.8.1.jar
ln -s hive-exec-0.8.1.jar.0628 hive-exec-0.8.1.jar
  5)重启hive服务
  6)测试

© 著作权归作者所有

王二铁

王二铁

粉丝 91
博文 62
码字总数 41123
作品 0
北京
后端工程师
私信 提问
加载中

评论(3)

木子木
木子木
我能再打个酱油么~~~
Aix.niuy
Aix.niuy
学习了 感谢
木子木
木子木
不错哦~
如何在Hive中创建自定义函数UDF及如何直接通过Impala的同步元数据重用UDF的jar文件

如何在Hive中创建自定义函数UDF及使用 如何在Impala中使用Hive的自定义函数 UDF函数开发 使用Intellij工具开发Hive的UDF函数,进行编译; 1.使用Intellij工具通过Maven创建一个Java工程,并添...

阿姆斯特芬
2019/10/14
0
0
[Hive]Hive自定义函数UDF

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/SunnyYoona/article/details/53244868 当Hive提供的内置函数无法满足你的业务处理需要时,此时就可以考虑使用...

sjf0115
2016/11/20
0
0
0011-如何在Hive & Impala中使用UDF

1.文档编写目的 本文档讲述如何开发Hive自定义函数(UDF),以及如何在Impala中使用Hive的自定义函数,通过本文档,您将学习到以下知识: 1.如何使用Java开发Hive的自定义函数 2.如何在Hive中...

Hadoop实操
2018/11/17
68
0
hive自定义udf实现md5功能

Hive自定义UDF实现md5算法 Hive发展至今,自身已经非常成熟了,但是为了灵活性,还是提供了各种各样的插件的方式,只有你想不到的,没有做不到的,主流的开源框架都有类似的机制,包括Hadoo...

九劫散仙
2016/05/24
348
0
永久自定义hive函数

永久自定义hive函数 1:做这件事的原因: 有一些函数是比较基础的,公用的,每次都要create temporary function麻烦了,这样的基础函数需要直接集成到hive中去,避免每次都要创建。 2:步骤 ...

八戒_o
2016/04/26
211
0

没有更多内容

加载失败,请刷新页面

加载更多

REST API服务为验证失败返回的适当HTTP状态代码是什么?

每当我在基于Django / Piston的REST API应用程序中遇到验证失败时,我目前正在返回401 Unauthorized。 看过HTTP状态代码注册表后我不相信这是验证失败的合适代码,你们都推荐什么? 400错误请...

javail
27分钟前
76
0
《计算机程序的构造和解释》分享下载

书籍信息 书名:《计算机程序的构造和解释》 原作名:Structure and Interpretation of Computer Programs 作者: Harold Abelson / Gerald Jay Sussman / Julie Sussman 豆瓣评分:9.5分(22...

开始以后_
33分钟前
57
0
《Linux就该这么学》第六节课while循环语句,case测试语句,计划任务及用户文件的相关命令

《Linux就该这么学》 本书是由全国多名红帽架构师(RHCA)基于最新Linux系统共同编写的高质量Linux技术自学教程,极其适合用于Linux技术入门教程或讲课辅助教材,目前是国内最值得去读的Lin...

溪风之殇
42分钟前
60
0
有没有办法让非root进程绑定到Linux上的“特权”端口?

在我的开发盒上有这个限制是非常烦人的,因为除了我之外不会有任何用户。 我知道标准的解决方法 ,但它们都没有完全符合我的要求: authbind (Debian测试中的版本,1.0,仅支持IPv4) 使用i...

技术盛宴
42分钟前
55
0
Java程序员必须要了解的类Unsafe

前言 Java是一个安全的编程语言,它能最大程度的防止程序员犯一些低级的错误(大部分是和内存管理有关的)。但凡是不是绝对的,使用Unsafe程序员就可以操作内存,因此可能带来一个安全隐患。...

Onegoleya
42分钟前
52
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部