文档章节

hadoop2.2.0 第三方jar包引入方法

ihaolin
 ihaolin
发布于 2014/02/12 17:48
字数 209
阅读 3604
收藏 1

很有可能在hadoop job时,我们会引入第三方包,暂时有效的方法:

  • 将自己的程序,与第三方jar包的class文件一起打包成一个jar,有fatjar这麽个eclipse插件可简单打包;
  • 将第三方jar包都拷贝到集群中所有节点的${HADOOP_HOME}/lib下或者${JAVA_HOME}/ext;
  • 将第三方jar包放在叫lib的目录下,在通过eclipse导出jar包(Eclipse自带的导包)时,将这个lib目录一起打包,这样运行MapReduce任务时,hadoop能够加载到lib目录第三方的类;
  • 通过-libjars运行参数来指定第三方包,但在我的hadoop2.2.0集群中并无效,还在琢磨中。

个人觉得第三,四种比较可行。

© 著作权归作者所有

ihaolin

ihaolin

粉丝 263
博文 164
码字总数 106524
作品 4
朝阳
高级程序员
私信 提问
hadoop 2.2.0 编译运行wordcount

hadoop2.2.0 编译运行wordcount,因为hadoop2.2.0不支持eclipse的插件,所以运行wordcount,需要手动编译并将wordcount打包成jar包来运行,下面记录一下编译运行的过程,希望能给大家有些帮助...

Adel
2014/09/05
704
1
关于加入第三方包之后导致自定义包无法找到问题

在项目开发过程中,引入第三方的jar包之后,报出一下错误,提示自定义类无法找到,但删除引入的第三方包之后,运行正常: 起初怀疑是第三方Jar包问题,经过反复查看,结果发现真正原因在于引...

tyronejw
2015/12/11
33
0
JNI(四)—项目中直接引用so文件

前言 在之前JNI中,我已经艰难的实现了jni生成so文件,然后也学习了Android项目中引入so库使用 的两种方式。无奈学习的引入so库方式均是引入 so+jar 方式(一般我们在引用第三方的so库时都会包...

奔跑的佩恩
01/09
0
0
减少APK体积的一种方法

之前做项目的时候,搭建了一个产品框架,里面包含了即时通讯、Crosswalk以及一些第三方的库,这样做的好处是 在之后的工程中,可以直接使用这个框架来写工程,所需要的功能一键获取。 不过,...

u014527323
2017/02/14
0
0
mapreduce第三方jar

@iDestiny 你好,想跟你请教个问题:hadoop2.2.0,在mapreduce将结果写入hbase中,报错找不到HbaseConfigureation ,我试过在-libjars中添加相关jar和将相关的jar打包到我的jar中,都不能解决...

xp19901010
2014/03/31
362
0

没有更多内容

加载失败,请刷新页面

加载更多

Python如何实现单例模式?其他23中设计模式python如何实现?

单例模式主要有四种方法:new、共享属性、装饰器、import。 # __ new__方法:class Singleton(object): def __new__(cls, *args, **kw): if not hasattr(cls, '_instance'): ......

每天学Python
5分钟前
5
0
在正则表达式的上下文中,“懒惰”和“贪婪”是什么意思?

有人可以用一种可以理解的方式解释这两个术语吗? #1楼 贪婪意味着您的表情将匹配尽可能大的组,懒惰意味着它将匹配最小的组。 对于此字符串: abcdefghijklmc 这个表达式: a.*c 贪婪的匹...

技术盛宴
8分钟前
37
0
springboot web 大文件上传源代码

一、 功能性需求与非功能性需求 要求操作便利,一次选择多个文件和文件夹进行上传; 支持PC端全平台操作系统,Windows,Linux,Mac 支持文件和文件夹的批量下载,断点续传。刷新页面后继续传输...

东方雨
9分钟前
34
0
这五类人最适合转Web前端,有你吗?

互联网的高速发展促使互联网企业对于网站等页面的用户体验要求也越来越高,导致网站开发难度越来越大,于是一个新兴职业应运而生——web前端工程师。 因为互联网时代的高速发展,公司企业的迫...

梦想编程
17分钟前
39
0
vue打包后静态资源图片失效&&vue动态设置img的src不生效

vue打包后静态资源图片失效: 老版本中需要找到config/index.js,找build打包对象里的assetsPublicPath属性,默认值为/,更改为./就好了; 新版本中只有手动更改vue.config.js, 在里面配置p...

liulunsheng
30分钟前
27
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部