文档章节

Windows Eclipse Hadoop 开发

颓废的幻想者
 颓废的幻想者
发布于 2016/05/26 11:42
字数 288
阅读 63
收藏 3

1. eclipse添加hadoop-eclipse-plugin插件

下载: hadoop2x-eclipse-plugin

Hadoop-2.5.2和hadoop-2.6.4版本选择hadoop-eclipse-plugin-2.6.0.jar(亲测可用) 
将hadoop-eclipse-plugin-2.6.0.jar拷贝到eclipse\plugins下 
重启eclipse

eclipse.exe -clean

这时,在eclipse Project Explorer视图下,能看到,多出了DFS Locations 


DFS 

 

2. eclipse 设置Hadoop Map/Reduce Locations

Windows -> Preferences 


hadoop map/reduce 


Windows -> Perspective -> Open Perspective -> Other… 选中 Map/Reduce 


map/reduce perspective 


进入Map/Reduce视图,新建 Hadoop location… 


Map/Reduce Location


设置集群地址 


edit hadoop location 

 

3. Windows 本地配置

下载64位的hadoop2.6版本插件,放在某一目录的bin目录下(一定要为bin目录) 


bin 


下载: hadoop2.6-x64

 

将其中的hadoop.dll 拷贝至 C:\Windows\System32目录下 


system32 

 

4. 工程配置

新建MapReduce工程 


mapreduce project 


将集群中hadoop-2.6.4/etc/hadoop下的配置文件拷贝到工程下 


site file 


利用hadoop-wiki例子:WordCount

 

测试: 
代码添加设置系统属性”hadoop.home.dir”,value值为第三步设置bin目录的父目录。

System.setProperty("hadoop.home.dir", "D:\\hadoop\\hadoop2.6-x64" );
  • 1
  • 1

5. 常见错误

  1. Exceptionin thread “main” java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(II[BI[BIILjava/lang/String;JZ)V
    这是hadoop.dll 版本问题,2.4之前的版本和之后的使用hadoop.dll不一样 
    解决:需要选择正确的版本并且在 hadoop\bin和 C:\windows\system32上将其替换

本文转载自:http://blog.csdn.net/zhzxlc_06/article/details/51505724

共有 人打赏支持
颓废的幻想者
粉丝 27
博文 62
码字总数 18405
作品 0
南京
程序员
私信 提问
eclipse上搭建hadoop开发环境

一、概述 1.实验使用的Hadoop集群为伪分布式模式,eclipse相关配置已完成; 2.软件版本为hadoop-2.7.3.tar.gz、apache-maven-3.5.0.rar。 二、使用eclipse连接hadoop集群进行开发 1.在开发主...

一语成谶灬
2017/09/07
0
0
eclipse 本地连接hadoop 进行开发

们平时用的机器一般装的都是windows系统,如果能在windows系统下面直接调试hadoop程序,那将是极好的 1. eclipse 安装hadoop 插件 首先, 下载hadoop 的eclipse插件 一个jar包 下载链接是这里...

KongFanhao
2016/06/02
15
0
编译hadoop2.x的hadoop-eclipse-plugin和配置

一、编译 1.安装jdk,并且配置好环境变量。 2.eclipse已经下载并且配置好了。 3.安装ant,并且配置好了环境变量。 4.hadoop包在windows本地已经有了,要和hadoop集群上的hadoop包一样,eclip...

cjun1990
2015/07/06
0
0
零基础学习hadoop到上手工作线路指导(编程篇)

问题导读: 1.hadoop编程需要哪些基础? 2.hadoop编程需要注意哪些问题? 3.如何创建mapreduce程序及其包含几部分? 4.如何远程连接eclipse,可能会遇到什么问题? 5.如何编译hadoop源码? ...

一枚Sir
2014/08/07
787
0
在Windows下开发Hadoop程序

在IDE中开发Hadoop程序 一般我们编写代码都会在IDE中而不是在记事本中开发,在虚拟机或者服务器上编写代码也不是很方便,哦,当然在linux图形界面下用IDE开发也是比较方便的,如果还是比较习...

MasterXiao
2018/07/15
0
0

没有更多内容

加载失败,请刷新页面

加载更多

nginx的日志

nginx的日志包括错误日志和访问日志,分别使用不同的指令来定义其输出位置和相应的级别。 下面介绍其各自的用途。 错误日志 nginx提供了error_log指令来指定错误日志的输出文件和级别。 指令...

xtof
48分钟前
2
0
【转】ubuntu18.04系统安装完之后显示未发现WiFi适配器【拯救者y7000亲测可用】

解决过程如下: 标题要大才醒目。 第一,插网线: 确保能通过网线连上网,通过路由器连还是直接接口连都没事,因为我们需要联网去下载些驱动以及更新。 第二,更改软件源: 打开“设置”,选...

Aomo
50分钟前
2
0
JSP 页面识别不了标签tag uri: [...] cannot be resolved in

1,org.apache.jasper.JasperException: The absolute uri: http://java.sun.com/jsp/jstl/core cannot be resolved in either web.xml or the jar files deployed with this application 也......

之渊
今天
1
0
Chrome OS或将测试Linux应用的GPU支持

Google 的 Chrome OS 已能支持运行 Linux 应用,但这一支持仍然处于早期阶段,它将在不久之后测试 Linux 应用的 GPU 支持(或叫图形加速),Chromium 源代码被发现加入了在 Linux 应用虚拟机...

linux-tao
今天
1
0
(六)java b2b2c springcloud shop 多用户商城系统源码-分布式配置中心(Spring Cloud Config)

一、简介 在分布式系统中,由于服务数量巨多,为了方便服务配置文件统一管理,实时更新,所以需要分布式配置中心组件。在Spring Cloud中,有分布式配置中心组件spring cloud config ,它支持...

sccspuercode
今天
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部