文档章节

eclipse+MapReduce

Yulong_
 Yulong_
发布于 2016/08/26 15:27
字数 335
阅读 31
收藏 2

一、部署准备

操作系统:Centos7.2

Hadoop版本:Apache Hadoop 2.6.4

Java版本:1.7.0_79

Eclipse版本:Mars

 

二、Eclipse开发环境设置

第一步、下载插件部署

hadoop2x-eclipse-plugin的github地址:
https://github.com/winghc/hadoop2x-eclipse-plugin

将hadoop-eclipse-plugin-2.6.0.jar置入$ECLIPSE_HOME/plugins/中,然后重启eclipse。

第二步、配置环境变量HADOOP_HOME

进入eclipse的windows菜单-->Hadoop Map/Reduce设置HADOOP_HOME

第三部、切换工作目录 

切换工作目录到Map/Reduce。

第四部、创建Location

在下方的的Map/Reduce Locations可以创建和修改HDFS Location的配置。

Location name:定义这个Location的名字,随意取个。

Map/Reduce(V2) Master:

Host:Yarn的Resourcemanager IP Address(参数yarn.resourcemanager.hostname值)

Port:Yarn的Resourcemanager 端口(参数yarn.resourcemanager.address值的端口)

DFS Master:

Host:HDFS的namenode IP Address(参数dfs.namenode.rpc-bind-host值)

Port:HDFS的namenode 端口(参数dfs.namenode.rpc-address值的端口)

 

左边Project Explorer显示DFS Locations-->breath.

可以直接次目录树进行操作,如:创建目录、删除目录、上传文件、下载文件、查看文件、刷新。

第五部、创建MapReduce工程

File --> New --> Other --> Map/Reduce Project

创建的MapReduce工程已经自带执行mapreduce所需的依赖。不需自己添加其他依赖。

 

 

© 著作权归作者所有

Yulong_
粉丝 10
博文 145
码字总数 253510
作品 0
朝阳
部门经理
私信 提问

暂无文章

解答二进制求和

思路:创建一个新的字符串,用于记录原两个字符串每位相加的结果。 1、因为是从左到右计算,所以要把字符串先进行反转,用reverse()方法。 2、字符串对齐,采用补零的方法。 3、计算的时候...

无名氏的程序员
20分钟前
4
0
JSONUtils

package com.demo.utils;import java.util.ArrayList;import java.util.HashMap;import java.util.Iterator;import java.util.List;import java.util.Map;import java.util.Tr......

任梁荣
20分钟前
5
1
在jest中配置typescript

测试是报错: Property 'assign' does not exist on type 'ObjectConstructor' NodeJS已经是最新版了,但道理不需要polyfill。 然后发现是typescript的lib没有"es2015.core",说明ts-jest没有......

linsk1998
21分钟前
3
0
Redis实现分布式文件夹锁

缘起 最近做一个项目,类似某度云盘,另外附加定制功能,本人负责云盘相关功能实现,这个项目跟云盘不同的是,以项目为分配权限的单位,同一个项目及子目录所有有权限的用户可以同时操作所有...

逸竹小站
30分钟前
3
0
Andorid SQLite数据库开发基础教程(2)

Andorid SQLite数据库开发基础教程(2) 数据库生成方式 数据库的生成有两种方式,一种是使用数据库管理工具生成的数据库,我们将此类数据库称为预设数据库,另一种是使用代码生成的数据库。...

大学霸
50分钟前
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部