文档章节

eclipse 本地连接hadoop 进行开发

KongFanhao
 KongFanhao
发布于 2016/06/02 19:00
字数 415
阅读 356
收藏 1

们平时用的机器一般装的都是windows系统,如果能在windows系统下面直接调试hadoop程序,那将是极好的

1. eclipse 安装hadoop 插件

首先, 下载hadoop 的eclipse插件  一个jar包

下载链接是这里:http://pan.baidu.com/s/1gfFbOFD

下完之后将插件解压 放到eclipse安装目录下的plugins下面 然后重启eclipse 就会看到

这样的图标

打开eclipse preferences 会有 Hadoop Map/Reduce 这个选项

 

2. 添加dll 到windows

下载hadoopUtil 地址:http://pan.baidu.com/s/1gfFbOFD

让后将utils中的dll文件放到 系统下面 windows文件夹下面的system32下

将文件夹中的winutils.exe 放到hadoop目录的bin下面

3. 配置hadoop本地环境变量

本文的前提是你有一个可以跑起来的hadoop环境,不管是虚拟机还是在服务器上面。

我们需要将linux上面hadoop目录复制一份到windows上,然后再上面的preferences下的 Hadoop Map/Reduce中配置 Hadoop installation directory

选择你本地hadoop的目录

然后配置windows 环境变量 Hadoop_Home

在系统环境变量中添加HADOOP_HOME这个变量:

然后在path中添加 hadoop:

 

配置hdfs location :

右键edit 如下 这是我的环境:

如果eclipse能读出 你hdfs上面的文件来,说明你的配置已经生效了如图:

4. 测试 wordcount

最后在eclipse中 建立hadoop项目 new 选择 Map/Reduce Project

你会惊奇的发现,eclipse已经将hadoop所需要的jar都导入到了eclipse当中。我们测试直接将wordcount 这个实例程序copy到项目中 运行就可以了

 

 

 

 

 

 

© 著作权归作者所有

KongFanhao
粉丝 5
博文 76
码字总数 42265
作品 0
海淀
程序员
私信 提问
加载中

评论(0)

eclipse上搭建hadoop开发环境

一、概述 1.实验使用的Hadoop集群为伪分布式模式,eclipse相关配置已完成; 2.软件版本为hadoop-2.7.3.tar.gz、apache-maven-3.5.0.rar。 二、使用eclipse连接hadoop集群进行开发 1.在开发主...

一语成谶灬
2017/09/07
0
0
Eclipse连接Hadoop分析的三种方式

Hadoop一般都部署在linux平台上,想让Hadoop执行我们写好的程序,首先需要在本地写好程序打包,然后上传到liunx,最后通过指定命令执行打包好的程序;一次两次还可以,如果进行频繁的调试是很...

ksfzhaohui
2016/10/27
2.6K
0
实战 windows7 下 eclipse 远程调试 linux hadoop

恩,之所以有这篇博客,是因为最近又有童鞋咨询怎么在 windows 7 下用eclipse远程调试部署在linux下的hadoop,其实我自己不这么混搭的,既然有童鞋这么问了,那我就索性随着折腾一把了。 首先...

大数据之路
2013/04/15
1.9W
13
编译hadoop2.x的hadoop-eclipse-plugin和配置

一、编译 1.安装jdk,并且配置好环境变量。 2.eclipse已经下载并且配置好了。 3.安装ant,并且配置好了环境变量。 4.hadoop包在windows本地已经有了,要和hadoop集群上的hadoop包一样,eclip...

cjun1990
2015/07/06
475
0
hadoop(06)、使用Eclipse开发Hadoop的MapReduce项目

本文实践源代码的码云地址: https://gitee.com/MaxBill/HMRP 在上文《hadoop(05)、使用Eclipse连接远程Hadoop集群》中我们主要实践了使用Eclispe开发工具安 装hadoop的开发插件,并且使用h...

MaxBill
2017/12/28
260
0

没有更多内容

加载失败,请刷新页面

加载更多

0228 我的潘多拉

我的潘多拉 从一个故事说起。<br />从前,有个Java程序员非常喜欢写程序,喜欢研究源码,读英文文档。但是它在一家小公司里工作,公司的技术栈很陈旧。<br /> <br />单个系统代码中含有很多的...

李福春carter
28分钟前
12
0
OSChina 周六乱弹 —— 屁会不会传染病毒

Osc乱弹歌单(2020)请戳(这里) 【今日歌曲】 @薛定谔的兄弟 :分享洛神有语创建的歌单「我喜欢的音乐」: 《ハレハレヤ(朗朗晴天)》- 猫瑾 手机党少年们想听歌,请使劲儿戳(这里) @空格...

小小编辑
41分钟前
53
1
两个值得注意的问题

对成员变量的操作只能放在方法中,方法可以对成员变量和方法体中自己定义的局部 变量进行操作.在定义类的成员变量时可以同时赋予初值,如 class A { int a=12; float b=12.56f; } 但是不可以这...

咔啡
50分钟前
27
0
第三章 分布式服务框架的选择

1.大项目工程且多人维护的弊端 (1)项目团队协同成本高,业务响应越来越慢 (2)应用复杂度已超出人的认知负载(向杂乱的电线一样) (3)错误难于隔离(一个模块出错,整个系统挂掉) (4...

zxx901221
今天
68
0
eclipse 上传jar到远程仓库

使用maven的项目中,有时需要把本地的项目打成jar包上传到mevan仓库。 操作如下: 前提:pom文件中配置好远程库的地址,否则会报错 一、将maven 中的settings文件配置好用户名和密码,如下:...

文文1
昨天
63
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部