文档章节

编译hadoop2.x的hadoop-eclipse-plugin和配置

cjun1990
 cjun1990
发布于 2015/07/06 18:00
字数 582
阅读 434
收藏 2

一、编译

1.安装jdk,并且配置好环境变量。

2.eclipse已经下载并且配置好了。

3.安装ant,并且配置好了环境变量。

4.hadoop包在windows本地已经有了,要和hadoop集群上的hadoop包一样,eclipse运行MapReduce时需要调用本地的hadoop包。

5.下载hadoop2x-eclipse-plugin源代码,目前hadoop2的eclipse-plugins源代码由github脱管,下载地址是:https://github.com/winghc/hadoop2x-eclipse-plugin,然后在右侧的Download ZIP连接点击下载,并且解压hadoop2x-eclipse-plugin-master.zip。

6.这一步尽量先不做,能直接编译成功最好,因为有些时候去掉这个会出点问题。有些时候换个网络可能就会编译成功了。切换到hadoop2x-eclipse-plugin-master\src\contrib\eclipse-plugin 目录,修改build.xml文件,找到

<target name="compile" depends="init, ivy-retrieve-common" unless="skip.contrib">

去掉depends="init, ivy-retrieve-common",修改为如下内容:

<target name="compile" unless="skip.contrib">

7.编译hadoop-eclipse-plugin插件,打开命令行cmd,切换到hadoop2x-eclipse-plugin-master\src\contrib\eclipse-plugin 目录,执行命令:

ant jar -Dversion=2.6.0 -Declipse.home=E:\programs\eclipse -Dhadoop.home=E:\programs\hadoop-2.6.0

执行的时候出现过找不到build目录,后面重新执行一下又可以,想不通为什么。

8.找到编译的包,在hadoop2x-eclipse-plugin-master\build\contrib\eclipse-plugin目录下。

参考文章:windows编译hadoop 2.x Hadoop-eclipse-plugin插件

二、配置

安装好了hadoop插件之后,就是配置使用hadoop插件了,除了在linux要安装hadoop,在我们的eclipse开发电脑上也需要有hadoop的安装目录,而且版本必须和集群上一样。

参考文章:Hadoop集群(第7期)_Eclipse开发环境设置,拉到“2.4 Eclipse插件开发配置”这一小节,第二步开始,第一步可以省略。

新建Map/Reduce locations的配置

Map/Reduce(V2) Master

hadoop1.x:和mapred-site.xml的mapreduce.jobtracker.address对应。

hadoop2.x:和hdfs-site.xml的mapred.job.tracker.http.address对应。

注意:有些时候Map/Reduce(V2) Master的端口配错了,一样可以在eclipse运行程序。

DFS Master

hadoop1.x:和core-site.xml的fs.default.name对应。

hadoop2.x:和hdfs-site.xml的dfs.namenode.rpc-address对应。

© 著作权归作者所有

cjun1990
粉丝 35
博文 371
码字总数 183914
作品 0
深圳
程序员
私信 提问
Windows下使用Hadoop2.6.0-eclipse-plugin插件

首先说一下本人的环境: Windows7 64位系统 Spring Tool Suite Version: 3.4.0.RELEASE Hadoop2.6.0 一.简介 Hadoop2.x之后没有Eclipse插件工具,我们就不能在Eclipse上调试代码,我们要把写...

木偶
2015/04/30
43.2K
14
零基础学习hadoop到上手工作线路指导(编程篇)

问题导读: 1.hadoop编程需要哪些基础? 2.hadoop编程需要注意哪些问题? 3.如何创建mapreduce程序及其包含几部分? 4.如何远程连接eclipse,可能会遇到什么问题? 5.如何编译hadoop源码? ...

一枚Sir
2014/08/07
896
0
mahout0.9 + hadoop2.2 中文文本分类实战(上)

一、准备环境。 到我写这个的时候,mahout还是0.9版本,官网上发行的0.9版本不能跑在hadoop2.x上。不过最新的代码已经支持hadoop2.x了。所以自己编译一下也是ok的,因为实在不想换hadoop。这...

一只小桃子
2014/05/08
8.4K
14
Hadoop2.2.0 入门教程(一)之hadoop2.x编译mac版本)

Hadoop 编译 在apache官网提供的hadoop2.x的编译后的hadoop项目,但是官方提供的编译后的项目是在32bit电脑上编译的,那么在64bit的电脑上,hadoop程序的运行还和本地环境有关,所以建议大家...

残风vs逝梦
2014/07/03
3.9K
0
Hadoop Eclipse 插件编译安装

最近开始学习Hadoop,hadoop 的新版本为了能和各个eclipse 的版本兼容,因此只提供了源代码,开发人员需要手动编译。 hadoop eclipse 插件的源代码位于$HADOOP_HOME/src/contrib/eclipse-pl...

chengxw
2013/05/18
996
0

没有更多内容

加载失败,请刷新页面

加载更多

CQRS与AXON

CQRS 看了蛮多文章,只会CRUD,却不懂CQRS,CQRS是遵循DDD思想而产生的一种模式,Command and Query Responsibility Segregation 命令与查询隔离。查询就直接通过正常的模式service调dao层。...

无极之岚
36分钟前
4
0
OSChina 周三乱弹 —— 欢迎你来做产品经理

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @巴拉迪维 :10多次劲歌金曲获奖,更多叱咤歌坛排名,黎明才应该是四大天王之首,只可惜拍的电影太少。单曲循环一个多月的歌,力荐 《无名份的...

小小编辑
51分钟前
118
8
500行代码,教你用python写个微信飞机大战

这几天在重温微信小游戏的飞机大战,玩着玩着就在思考人生了,这飞机大战怎么就可以做的那么好,操作简单,简单上手。 帮助蹲厕族、YP族、饭圈女孩在无聊之余可以有一样东西让他们振作起来!...

上海小胖
今天
8
0
关于AsyncTask的onPostExcute方法是否会在Activity重建过程中调用的问题

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。 本文链接:https://blog.csdn.net/XG1057415595/article/details/86774575 假设下面一种情况...

shzwork
今天
7
0
object 类中有哪些方法?

getClass(): 获取运行时类的对象 equals():判断其他对象是否与此对象相等 hashcode():返回该对象的哈希码值 toString():返回该对象的字符串表示 clone(): 创建并返此对象的一个副本 wait...

happywe
今天
7
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部