文档章节

在eclipse上开发hadoop2.5.2程序的快捷方法

icutcx
 icutcx
发布于 2016/10/29 01:15
字数 684
阅读 18
收藏 0

本文仍然使用MapReduce的经典例子 WordCount来测试eclipse的开发环境。

  与大部分教程不同的是,本文使用的hadoop是2.5.2的版本,相较于之前的0.X版本,hadoop 2.X有较大改动

  在jar包方面,Hadoop 2.x 版本中 jar 不再集中在一个 hadoop-core*.jar 中,而是分成多个 jar,如使用 Hadoop 2.5.2 运行 WordCount 实例至少需要如下三个 jar:

  • $HADOOP_HOME/share/hadoop/common/hadoop-common-2.5.2.jar
  • $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-core-2.5.2.jar
  • $HADOOP_HOME/share/hadoop/common/lib/commons-cli-1.2.jar

  实际上,通过命令 hadoop classpath 我们可以得到运行 Hadoop 程序所需的全部 classpath 信息。如下图所示:

 

  弄清楚jar包的添加后下面开始编译hadoop程序

  编译MapReduce程序常见的有两种方法:

  1、使用命令行编译、打包MapReduce程序

  2、安装eclipse插件编译MapReduce程序

  

下面介绍一种比较快捷的编译方法

  在eclipse中新建Java程序之后,导入相应的jar包,这样在编写MapReduce程序时,就可以直接import jar包。这种方法相较于前面两张方法要快捷。需要导入哪些jar包需根据程序用到的Java类来确定,要注意的是包的路径,因为与0.X有所不同,可以按照上述方法先查看jar包的路径。jar包的导入如下:

  右键所创建的Java工程--->Properties,然后选择Java Build Path,再选择Libraries项,点击 Add External JARs 添加所需的jar包

 

打包JAR文件

  编辑好Java程序之后,将MapReduce工程打包成JAR文件,然后发送到hadoop的Master节点上即可运行MapReduce程序。步骤如下:

  右键Java工程--->Export--->JAR file。

  选择JAR file之后,点击 Next按钮,进入JAR文件过滤对话框

   注意:只选择src文件夹就可以,不能把classpath和project文件添加到JAR文件中。

 然后在Select the export destination 下的JAR file中选择JAR文件的存放目录与JAR的文件名。

 

部署运行

1、将生成的JAR包发送到Hadoop集群的Master节点的$HADOOP_HOME目录下面

2、运行MapReduce程序,使用的命令行为:

  hadoop jar  jar_name.jar package_name.classname  /inputfile_dir  /outputfile_dir

  注意:在运行MapReduce程序之前应确保inputfile_dir存在,outputfile_dir不存在。

 

在将JAR文件发送到Hadoop集群是的Master节点时,可使用 SSH Secure File Transfer Client 将windows下的JAR文件发送的linux下的Master节点上

 

使用下面命令查看生成的结果文件

hadoop fs -text /outputfile_dir/part-r-00000

 

参考:

使用命令行编译打包运行自己的MapReduce程序 Hadoop2.6.0  

使用Eclipse编译运行MapReduce程序 Hadoop2.6.0_Ubuntu/CentOS    

本文转载自:http://www.cnblogs.com/wujing-hubei/p/6009838.html

icutcx
粉丝 0
博文 2
码字总数 42
作品 0
东莞
私信 提问
window的ecplise连接虚拟机当中的hadoop开发和运行怎么配置

我在虚拟机当中安装centos6.6,centos中安装hadoop2.5.2,可以正常运行 我想在window的ecplise连接虚拟机当中的hadoop开发和运行hadoop程序,不知道如何配置,请教高手...

tony-allen
2015/03/02
267
2
bboss 与ecipse gradle buildship插件结合使用方法

本文介绍bboss 与ecipse gradle buildship插件结合使用方法,但是建议使用gradle sts插件来在eclipse中构建和开发使用bboss框架的项目:点击浏览 gradle buildship和Gradle IDE Pack(bboss...

bboss
2017/02/23
0
0
分享从google上下载的Eclipse ADT插件(目前我所收集的全部版本)

Eclipse ADT 是 Eclipse 平台下用来开发 Android 应用程序的插件。 1)下载用于在Eclipse 开发android应用的ADT 插件 在企业开发中,很多程序员使用Eclipse IDE作为应用的开发环境。为了使得A...

zzjbook
2015/01/11
103.6K
36
五步搞定Android开发环境部署

引言 在windows安装Android的开发环境不简单也说不上算复杂,本文写给第一次想在自己Windows上建立Android开发环境投入Android浪潮的朋友们,为了确保大家能顺利完成开发环境的搭建,文章写的...

java梦想家01
2015/12/18
31
0
如何让eclipse进行智能提示

开发者在进行开发时,经常需要Eclipse智能提示的功能,这样方便快捷,直接选择提示出来的内容,就可以,提高开发效率。 工具/原料 eclipse开发工具 方法/步骤 打开eclipse工具,点击window菜...

jackhen
2016/06/24
38
0

没有更多内容

加载失败,请刷新页面

加载更多

Spring使用ThreadPoolTaskExecutor自定义线程池及实现异步调用

多线程一直是工作或面试过程中的高频知识点,今天给大家分享一下使用 ThreadPoolTaskExecutor 来自定义线程池和实现异步调用多线程。 一、ThreadPoolTaskExecutor 本文采用 Executors 的工厂...

CREATE_17
今天
5
0
CSS盒子模型

CSS盒子模型 组成: content --> padding --> border --> margin 像现实生活中的快递: 物品 --> 填充物 --> 包装盒 --> 盒子与盒子之间的间距 content :width、height组成的 内容区域 padd......

studywin
今天
7
0
修复Win10下开始菜单、设置等系统软件无法打开的问题

因为各种各样的原因导致系统文件丢失、损坏、被修改,而造成win10的开始菜单、设置等系统软件无法打开的情况,可以尝试如下方法解决 此方法只在部分情况下有效,但值得一试 用Windows键+R打开...

locbytes
昨天
8
0
jquery 添加和删除节点

本文转载于:专业的前端网站➺jquery 添加和删除节点 // 增加一个三和一节点function addPanel() { // var newPanel = $('.my-panel').clone(true) var newPanel = $(".triple-panel-con......

前端老手
昨天
8
0
一、Django基础

一、web框架分类和wsgiref模块使用介绍 web框架的本质 socket服务端 与 浏览器的通信 socket服务端功能划分: 负责与浏览器收发消息(socket通信) --> wsgiref/uWsgi/gunicorn... 根据用户访问...

ZeroBit
昨天
10
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部