文档章节

编译eclipse hadoop插件

z_jordon
 z_jordon
发布于 2015/10/03 17:39
字数 531
阅读 117
收藏 4

操作系统:ubuntu

hadoop版本:1.0.1

eclipse版本:eclipse Helios-SR2

直接通过hadoop 1.0.1掩码插件生成的eclipse插件是不能用的,因为少了一些jar包,所以需要手工修改src/contrib/eclipse-plugin目录下的build.xml文件和META-INF/MANIFEST.MF文件。

  1. 修改build.xml文件

这是没修改前的

<target name="jar" depends="compile" unless="skip.contrib">
    <mkdir dir="${build.dir}/lib"/>
    <copy file="${hadoop.root}/build/hadoop-core-${version}.jar" tofile="${build.dir}/lib/hadoop-core.jar" verbose="true"/>
    <copy file="${hadoop.root}/build/ivy/lib/Hadoop/common/commons-cli-${commons-cli.version}.jar"  todir="${build.dir}/lib" verbose="true"/>
      jarfile="${build.dir}/hadoop-${name}-${version}.jar"
      manifest="${root}/META-INF/MANIFEST.MF">
      <fileset dir="${build.dir}" includes="classes/ lib/"/>
      <fileset dir="${root}" includes="resources/ plugin.xml"/>
    </jar>
  </target>

在这个基础上修改,修改后为

<target name="jar" depends="compile" unless="skip.contrib">
    <mkdir dir="${build.dir}/lib"/>
    <copy file="${hadoop.root}/build/hadoop-core-${version}.jar" tofile="${build.dir}/lib/hadoop-core.jar" verbose="true"/>
    <copy file="${hadoop.root}/build/ivy/lib/Hadoop/common/commons-cli-${commons-cli.version}.jar"  todir="${build.dir}/lib" verbose="true"/>
      <copy file="${hadoop.root}/build/ivy/lib/Hadoop/common/commons-configuration-1.6.jar"  todir="${build.dir}/lib" verbose="true"/>
      <copy file="${hadoop.root}/build/ivy/lib/Hadoop/common/commons-lang-2.4.jar"  todir="${build.dir}/lib" verbose="true"/>
      <copy file="${hadoop.root}/build/ivy/lib/Hadoop/common/jackson-core-asl-1.8.8.jar"  todir="${build.dir}/lib" verbose="true"/>
      <copy file="${hadoop.root}/build/ivy/lib/Hadoop/common/jackson-mapper-asl-1.8.8.jar"  todir="${build.dir}/lib" verbose="true"/>
      <copy file="${hadoop.root}/build/ivy/lib/Hadoop/common/commons-httpclient-3.0.1.jar"  todir="${build.dir}/lib" verbose="true"/>
    <jar
      jarfile="${build.dir}/hadoop-${name}-${version}.jar"
      manifest="${root}/META-INF/MANIFEST.MF">
      <fileset dir="${build.dir}" includes="classes/ lib/"/>
      <fileset dir="${root}" includes="resources/ plugin.xml"/>
    </jar>
  </target>

2. 修改META-INF/MANIFEST.MF文件

这是没修改前的

Bundle-ClassPath: classes/,lib/hadoop-core.jar

在这个基础上修改,修改后为

Bundle-ClassPath: classes/,lib/hadoop-core.jar,lib/commons-cli-1.2.jar,lib/commons-configuration-1.6.jar,lib/commons-lang-2.4.jar,lib/jackson-core-asl-1.8.8.jar,lib/jackson-mapper-asl-1.8.8.jar,lib/commons-httpclient-3.0.1.jar

注意要把build.xml中定义的所有jar包都加上,我就是一开始少写了lib/commons-cli-1.2.jar,导致使用是还是一直报Error:failure to login的错误,折腾了很久(被《hadoop技术内幕》这本书误导了)

3.编译生成插件jar包

命令行进入到hadoop安装目录下的src/contrib/eclipse-plugin目录下,输入以下命令:

ant -Declipse.home=/home/jason/eclipse -Dversion=1.0.2-SNAPSHOT

其中eclipse.home是用来指定eclipse的路径,version是Hadoop的版本号。

最后会在hadoop安装目录下的build/contrib/eclipse-plugin目录下看到生成的jar包,把它拷贝到eclipse的插件目录下即可。

© 著作权归作者所有

z_jordon
粉丝 36
博文 251
码字总数 78212
作品 0
厦门
技术主管
私信 提问
配置hadoop开发环境(eclipse,hadoop2.2.0)

通常我们可以用Eclipse作为Hadoop程序的开发平台。 1) 下载Eclipse 下载地址:http://www.eclipse.org/downloads/ 根据操作系统类型,选择合适的版本下载并安装。 2) 下载并编译Hadoop的E...

颜建海
2014/05/06
2.8K
0
Hadoop Eclipse 插件编译安装

最近开始学习Hadoop,hadoop 的新版本为了能和各个eclipse 的版本兼容,因此只提供了源代码,开发人员需要手动编译。 hadoop eclipse 插件的源代码位于$HADOOP_HOME/src/contrib/eclipse-pl...

chengxw
2013/05/18
996
0
编译hadoop2.x的hadoop-eclipse-plugin和配置

一、编译 1.安装jdk,并且配置好环境变量。 2.eclipse已经下载并且配置好了。 3.安装ant,并且配置好了环境变量。 4.hadoop包在windows本地已经有了,要和hadoop集群上的hadoop包一样,eclip...

cjun1990
2015/07/06
436
0
零基础学习hadoop到上手工作线路指导(编程篇)

问题导读: 1.hadoop编程需要哪些基础? 2.hadoop编程需要注意哪些问题? 3.如何创建mapreduce程序及其包含几部分? 4.如何远程连接eclipse,可能会遇到什么问题? 5.如何编译hadoop源码? ...

一枚Sir
2014/08/07
896
0
Hadoop Eclipse 开发环境的构建

1.安装eclipse 下载的eclipse包直接解压即可。 2.hadoop-eclipse插件的配置 本文使用的Hadoop为1.2.1版本,网上很多教程说该插件在hadoop-1.2.1/contrib/目录下,但是我发现该目录下并没有该...

Coder哥
2015/03/16
109
0

没有更多内容

加载失败,请刷新页面

加载更多

java通过ServerSocket与Socket实现通信

首先说一下ServerSocket与Socket. 1.ServerSocket ServerSocket是用来监听客户端Socket连接的类,如果没有连接会一直处于等待状态. ServetSocket有三个构造方法: (1) ServerSocket(int port);...

Blueeeeeee
今天
6
0
用 Sphinx 搭建博客时,如何自定义插件?

之前有不少同学看过我的个人博客(http://python-online.cn),也根据我写的教程完成了自己个人站点的搭建。 点此:使用 Python 30分钟 教你快速搭建一个博客 为防有的同学不清楚 Sphinx ,这...

王炳明
昨天
5
0
黑客之道-40本书籍助你快速入门黑客技术免费下载

场景 黑客是一个中文词语,皆源自英文hacker,随着灰鸽子的出现,灰鸽子成为了很多假借黑客名义控制他人电脑的黑客技术,于是出现了“骇客”与"黑客"分家。2012年电影频道节目中心出品的电影...

badaoliumang
昨天
14
0
很遗憾,没有一篇文章能讲清楚线程的生命周期!

(手机横屏看源码更方便) 注:java源码分析部分如无特殊说明均基于 java8 版本。 简介 大家都知道线程是有生命周期,但是彤哥可以认真负责地告诉你网上几乎没有一篇文章讲得是完全正确的。 ...

彤哥读源码
昨天
15
0
jquery--DOM操作基础

本文转载于:专业的前端网站➭jquery--DOM操作基础 元素的访问 元素属性操作 获取:attr(name);$("#my").attr("src"); 设置:attr(name,value);$("#myImg").attr("src","images/1.jpg"); ......

前端老手
昨天
7
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部