文档章节

利用eclipse编写自定义hive udf函数

开拓者-2017
 开拓者-2017
发布于 2014/07/05 14:27
字数 578
阅读 46
收藏 0

eclipse编写自定义hive udf函数

在做日志分析的过程中,用到了hadoop框架中的hive,不过有些日志处理用hive中的函数处理显得力不从心,就需要用udf来进行扩展处理了

1  eclipse中新建java project   hiveudf   然后新建class  package(com.afan)  name(UDFLower)

2  添加jar library  hadoop-core-1.1.2.jar(来源hadoop1.1.2)   hive-exec-0.9.0.jar(来源hive-0.9.0)两个文件到project

 

import org.apache.hadoop.hive.ql.exec.UDF;  

import org.apache.hadoop.io.Text;  

  

public class UDFLower extends UDF{  

    public Text evaluate(final Text s){  

        if (null == s){  

            return null;  

        }  

        return new Text(s.toString().toLowerCase());  

    }  

}  

4  编译输出打包文件为 udf_hive.jar

第一步:

第二步:

第三步:

第四步:

第五步:

第六步:

udf_hive.jar放入配置好的linux系统的文件夹中路径为/root/data/udf_hive.jar

打开hive命令行测试

   hive> add jar /root/data/udf_hive.jar;

Added udf_hive.jar to class path
Added resource: udf_hive.jar

创建udf函数
hive> create temporary function my_lower as 'UDFLower';   // UDFLower'
表示你的类的地址,例如你有包名:cn.jiang.UDFLower.java,那么就as后面接cn.jiang.UDFLower,如果没有包名就直接写类名'UDFLower'就行

创建测试数据
hive> create table dual (name string);

导入数据文件test.txt

test.txt文件内容为

WHO

AM

I

HELLO

hive> load data local inpath '/root/data/test.txt' into table dual;

hive> select name from dual;

Total MapReduce jobs = 1
Launching Job 1 out of 1
Number of reduce tasks is set to 0 since there's no reduce operator
Starting Job = job_201105150525_0003, Tracking URL = http://localhost:50030/jobdetails.jsp?jobid=job_201105150525_0003
Kill Command = /usr/local/hadoop/bin/../bin/hadoop job  -Dmapred.job.tracker=localhost:9001 -kill job_201105150525_0003
2011-05-15 06:46:05,459 Stage-1 map = 0%,  reduce = 0%
2011-05-15 06:46:10,905 Stage-1 map = 100%,  reduce = 0%
2011-05-15 06:46:13,963 Stage-1 map = 100%,  reduce = 100%
Ended Job = job_201105150525_0003
OK
WHO
AM
I
HELLO

使用udf函数
hive> select my_lower(name) from dual;
Total MapReduce jobs = 1
Launching Job 1 out of 1
Number of reduce tasks is set to 0 since there's no reduce operator
Starting Job = job_201105150525_0002, Tracking URL = http://localhost:50030/jobdetails.jsp?jobid=job_201105150525_0002
Kill Command = /usr/local/hadoop/bin/../bin/hadoop job  -Dmapred.job.tracker=localhost:9001 -kill job_201105150525_0002
2011-05-15 06:43:26,100 Stage-1 map = 0%,  reduce = 0%
2011-05-15 06:43:34,364 Stage-1 map = 100%,  reduce = 0%
2011-05-15 06:43:37,484 Stage-1 map = 100%,  reduce = 100%
Ended Job = job_201105150525_0002
OK
who
am
i
hello

经测试成功通过

本文转载自:http://landyer.iteye.com/blog/1070377

开拓者-2017
粉丝 38
博文 150
码字总数 301555
作品 0
大兴
程序员
私信 提问
006.利用eclipse编写自定义hive udf函数

eclipse编写自定义hive udf函数 在做日志分析的过程中,用到了hadoop框架中的hive,不过有些日志处理用hive中的函数处理显得力不从心,就需要用udf来进行扩展处理了 1 在eclipse中新建java ...

片刻
2014/05/18
3.7K
0
hive自定义函数

hive写自定义函数很简单,只需要引入hive一两个jar包,同时将hive的将类继承udf类,在类中重写evaluate方法,evaluate方法可以写多个,每个参数不一样即多个不同的方法。代码如下: hiveUDF ...

cjun1990
2016/12/17
19
0
hive 学习系列四(用户自定义函数)

如果入参是简单的数据类型,直接继承UDF,实现一个或者多个evaluate 方法。 具体流程如下: 1,实现大写字符转换成小写字符的UDF 2,打包成jar 包。 建立maven 项目,使用maven 打包。 这里打...

unnunique
2018/06/12
0
0
Eclipse的WebWork开发插件--EclipseWork

EclipseWork是一个用于开发WebWork的一个插件.它有很多向导用于创建WebWork Action和利用Hibernate与Prevayler来为应用程序添加增删改查(CRUD)功能.EclipseWork还能生成 JSP,Velocity和Freem...

匿名
2010/01/20
1K
0
hadoop(06)、使用Eclipse开发Hadoop的MapReduce项目

本文实践源代码的码云地址: https://gitee.com/MaxBill/HMRP 在上文《hadoop(05)、使用Eclipse连接远程Hadoop集群》中我们主要实践了使用Eclispe开发工具安 装hadoop的开发插件,并且使用h...

MaxBill
2017/12/28
255
0

没有更多内容

加载失败,请刷新页面

加载更多

NASA的10条编码规则

关于NASA的10条编程规则,他们曾表示:这些规则的作用就像汽车上的安全带:最初,它们可能有点不舒服,但过了一会儿,它们的使用就变成了第二天性,而没有使用它们就变得不可想象。 Gerard J...

京东云技术新知
1分钟前
0
0
TortoiseSVN图标未显示在Windows 7下

我似乎无法在Windows 7下显示图标,我真的很想念Windows XP。 怎么修好? #1楼 他们在这里展示得很好 您使用的是64位版本的Windows 7以及32位版本的TortoiseSVN吗? 如果是这样,那么它们只会...

javail
25分钟前
11
0
开源播放器

DPlayer

glen_xu
32分钟前
134
0
gitlab Error:Gitaly - load linguist colors - permission denied

报错信息 2020-01-20_14:35:08.43180 time=“2020-01-20T14:35:08Z” level=info msg=“Starting Gitaly” version=“Gitaly, version 0.81.0, built 20180225.183225” 2020-01-20_14:35:0......

JennerLuo
38分钟前
125
0
微信小程序的自动化测试框架

微信发布了小程序的自动化测试框架Minium,提供了多种运行验证方式,其特点: 支持一套脚本,iOS & Android & 模拟器,三端运行 提供丰富的页面跳转方式,看不到也能去得到 可以获取和设置小...

测者陈磊
51分钟前
84
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部