文档章节

eclipse+MapReduce

Yulong_
 Yulong_
发布于 2016/08/26 15:27
字数 335
阅读 110
收藏 2

3 月,跳不动了?>>>

一、部署准备

操作系统:Centos7.2

Hadoop版本:Apache Hadoop 2.6.4

Java版本:1.7.0_79

Eclipse版本:Mars

 

二、Eclipse开发环境设置

第一步、下载插件部署

hadoop2x-eclipse-plugin的github地址:
https://github.com/winghc/hadoop2x-eclipse-plugin

将hadoop-eclipse-plugin-2.6.0.jar置入$ECLIPSE_HOME/plugins/中,然后重启eclipse。

第二步、配置环境变量HADOOP_HOME

进入eclipse的windows菜单-->Hadoop Map/Reduce设置HADOOP_HOME

第三部、切换工作目录 

切换工作目录到Map/Reduce。

第四部、创建Location

在下方的的Map/Reduce Locations可以创建和修改HDFS Location的配置。

Location name:定义这个Location的名字,随意取个。

Map/Reduce(V2) Master:

Host:Yarn的Resourcemanager IP Address(参数yarn.resourcemanager.hostname值)

Port:Yarn的Resourcemanager 端口(参数yarn.resourcemanager.address值的端口)

DFS Master:

Host:HDFS的namenode IP Address(参数dfs.namenode.rpc-bind-host值)

Port:HDFS的namenode 端口(参数dfs.namenode.rpc-address值的端口)

 

左边Project Explorer显示DFS Locations-->breath.

可以直接次目录树进行操作,如:创建目录、删除目录、上传文件、下载文件、查看文件、刷新。

第五部、创建MapReduce工程

File --> New --> Other --> Map/Reduce Project

创建的MapReduce工程已经自带执行mapreduce所需的依赖。不需自己添加其他依赖。

 

 

© 著作权归作者所有

Yulong_
粉丝 10
博文 145
码字总数 253510
作品 0
朝阳
部门经理
私信 提问
加载中

评论(0)

暂无文章

mapbox

Mapbox是一个可以跨行业使用的开发平台,我们可以利用它对地图进行创建和定制,以解决地图、数据和空间分析等问题。 Leaflet 轻量 WebGIS 前端类库 Leaflet 是一个为建设移动设备友好的互动地...

东东笔记
13分钟前
16
0
看你有多色游戏案例

看你有多色游戏案例 游戏规则 这款游戏的玩法就是找出所有风格中颜色比较淡的,随着游戏进行后面的方块会越来越多, 这个游戏主要是考验玩家的眼力和注意力, 游戏截图 部分代码 mian.html ...

板栗z丶
42分钟前
23
0
【SpringBoot MQ 系列】RabbitListener 消费基本使用姿势介绍

【MQ 系列】RabbitListener 消费基本使用姿势介绍 之前介绍了 rabbitmq 的消息发送姿势,既然有发送,当然就得有消费者,在 SpringBoot 环境下,消费可以说比较简单了,借助@RabbitListener...

小灰灰Blog
43分钟前
29
0
罗永浩回应做主播带货赚钱还债:主播赚的不是脏钱

  罗永浩的抖音带货生涯,将于 4 月 1 日晚 20 点开始。   虽然老罗对自己带货能力,信心满满,但也有粉丝对其表达了对他直播带货感到失望。   今日,罗永浩发布微博回应称, 不应该感...

水果黄瓜
44分钟前
18
0
二维码传输文件

这是我大概在5,6年前写的东西,当时种种原因,删除了,现在有空闲时间,补发一下。 二维码是现在非常常用的一种信息传播载体,通过智能手机,可以方便快捷的传输小容量信息,是否可以通过二...

豆豆爹地
52分钟前
20
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部