文档章节

Hadoop MapReduce程序使用第三方jar的解决方案

litterMo
 litterMo
发布于 2018/04/17 18:12
字数 403
阅读 80
收藏 1

开发MR程序时,经常需要使用第三方jar包,如何让MR程序正确找到第三方jar包就是一个重要的问题。

一般常用的解决方法有如下几个

  • 把第三方包放至集群所有节点上

把第三方jar包预先放置到集群中,可以减小MR程序包的大小,比较常用。一般是放到hadoop各个server的JRE lib目录下,或者把包路径添加至CLASSPATH环境变量,或者MR运行时使用 -libjars参数把jar包包含进来。由于没有一一进行测试,这些方法不敢确认都是可以的,或者不同条件下才可以。但是每次添加jar都要在所有集群节点上添加,太麻烦。

  • 使用Maven打包,把所有包打到一起

当前我们使用的是Maven打包,把所有第三方包和MR程序打包在一起。由于项目包含了所有MR,引用的包也很多,导致打出来的包有50M,太大了,其实每个MR需要的只是其中一部分包。

  • 轻量打包,只打当前MR需要的jar包

后来发现hadoop 可能自动引用lib文件夹下面的jar包,这样,针对单个MR程序,可以创建一个lib文件夹,把需要的jar包放至其中,并在打包时把lib目录打进mr包中即可。idea中不需要在项目中创建,只在打包配置中配置即可,如下:

© 著作权归作者所有

litterMo
粉丝 8
博文 49
码字总数 21704
作品 0
东城
程序员
私信 提问
如何分布式运行mapreduce程序

如何分布式运行mapreduce程序 一、 首先要知道此前提 若在windows的Eclipse工程中直接启动mapreduc程序,需要先把hadoop集群的配置目录下的xml都拷贝到src目录下,让程序自动读取集群的地址后...

Zero零_度
2015/09/06
255
0
Pydoop 架构和模块包介绍

背景 Hadoop支持Java以及C/C++开发,其中Hadoop Pipes(C++)支持MapReduce,而Hadoop libhdfs(C)支持HDFS的访问。但Python的解决方案仅能支持Hadoop部分功能,具体如下。 Hadoop Streaming:1...

索隆
2012/09/13
442
0
Hadoop2.X的安装与配置(二)本地模式

在上一篇文章中,我们介绍了Hadoop2.X安装与配置前的准备阶段。 在本地模式配置前,首先完成准备阶段。 点击如下链接,进入准备阶段的配置 https://blog.csdn.net/weixin38187469/article/d...

weixin_38187469
2018/04/16
0
0
Hadoop作业引用第三方jar文件

在eclipse中写mapreduce程序, 引用第三方jar文件, 可以利用eclipse Hadoop插件直接run on hadoop提交, 很方便. 不过插件版本要和eclipse匹配, 不然总是local执行, 在50070是没有job产生的. 如...

Zero零_度
2015/10/29
206
0
【hadoop】16.MapReduce-简介

简介 本章节我们先来了解一些关于MapReduce的理论知识。从本章节您可以学习到:MapReduce的相关知识。 1、概念 Mapreduce是一个分布式运算程序的编程框架,是用户开发“基于hadoop的数据分析...

Areya
01/12
27
0

没有更多内容

加载失败,请刷新页面

加载更多

006-Docker中导出单个或多个tar包

docker中导出单个镜像和多个镜像的tar包 docker save [images] > [name.tar] docker save [images] [images] > [name.tar]...

伟大源于勇敢的开始
今天
8
0
Kotlin基础语法学习

安装好安卓studio,以及插件支持Kotlin 就可以在创建项目的时候选择 Kotlin语言了。 https://www.jianshu.com/p/4ab13691d681 参考手册: https://www.runoob.com/kotlin/otlin-android-setu...

T型人才追梦者
今天
6
0
java实现简单计算器

1.概述 之前作者写过一篇文章,也是关于计算器的,用的是C++与Qt,链接在这里 这次用java的swing写的(这差距好像有点大,好吧是qt太强了). 先上图: 2.UI 总体布局使用流布局. (1)文本框 文本框就...

Blueeeeeee
今天
9
0
纯CSS实现DIV悬浮(固定位置)

纯CSS实现的DIV悬浮效果(固定位置),兼容常用的浏览器:IE8、360、FireFox、Chrome、Safari、Opera、傲游、搜狗、世界之窗等。效果如下: 实现代码: <!DOCTYPE html> <html> <head> <meta ...

独钓渔
今天
6
0
OSChina 周二乱弹 —— 给我来个女菩萨

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @这次装个文艺青年吧 :#今日歌曲推荐#分享XXXTENTACION/Travis Barker的单曲《Pain = BESTFRIEND》: 《Pain = BESTFRIEND》- XXXTENTACION/...

小小编辑
今天
149
4

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部