文档章节

大数据系列2:建立开发环境编写HDFS和Map Reduce程序

杨尚川
 杨尚川
发布于 2015/04/06 19:05
字数 464
阅读 115
收藏 2

1、在eclipse中配置hadoop插件

       hadoop-eclipse-plugin-1.2.1.jar 复制到eclipse/plugins目录下,重启eclipse

2、打开MapReduce视图

       Window-> Open Perspective -> Other 选择Map/Reduce,图标是个蓝色的象。

3、添加一个MapReduce环境

      eclipse下端,控制台旁边会多一个Tab,叫“Map/ReduceLocations”,在下面空白的地方点右键,选择“NewHadoop location...”,在弹出的对话框中填写如下内容:

Location name(取个名字)
Map/Reduce MasterJob TrackerIP和端口,根据mapred-site.xml中配置的mapred.job.tracker来填写)
DFS MasterName NodeIP和端口,根据core-site.xml中配置的fs.default.name来填写)

4、使用eclipse对HDFS内容进行操作

    经过上一步骤,左侧“Project Explorer”中应该会出现配置好的HDFS,点击右键,可以进行新建文件夹、删除文件夹、上传文件、下载文件、删除文件等操作。

    注意:每一次操作完在eclipse中不能马上显示变化,必须得刷新一下。 

5、创建MapReduce工程

5.1配置Hadoop路径

      Window-> Preferences 选择 “Hadoop Map/Reduce”,点击“Browse...”选择Hadoop文件夹的路径。这个步骤与运行环境无关,只是在新建工程的时候能将hadoop根目录和lib目录下的所有jar包自动导入。

      5.2创建工程

      File ->New -> Project 选择“Map/ReduceProject”,然后输入项目名称,创建项目。插件会自动把hadoop根目录和lib目录下的所有jar包导入。

      5.3创建Mapper或者Reducer

      File ->New -> Mapper 创建Mapper,自动继承mapred包里面的MapReduceBase并实现Mapper接口。注意:这个插件自动继承的是mapred包里旧版的类和接口,新版的Mapper得自己写。Reducer同理。

 

 

 

 

APDPlat旗下十大开源项目

 

 

 

 

 

© 著作权归作者所有

杨尚川

杨尚川

粉丝 1103
博文 220
码字总数 1624053
作品 12
东城
架构师
私信 提问
Hadoop编写调试MapReduce程序详解

编程学习,最好的方法还是自己动手,所以这里简单介绍在Hadoop上编写调试一个MapReduce程序。 先说一下我的开发环境,我的操作系统是Centos6.0,Hadoop版本是0.20.2,开发环境是eclipse。在H...

miaosu
2013/03/20
12.1K
3
myeclipse配置hadoop开发环境

1、安装Hadoop开发插件 hadoop安装包contrib/目录下有个插件hadoop-0.20.2-eclipse-plugin.jar,拷贝到myeclipse根目录下/dropins目录下。 2、 启动myeclipse,打开Perspective: 【Window】...

刘胜球
2013/03/10
15.2K
0
hadoop(06)、使用Eclipse开发Hadoop的MapReduce项目

本文实践源代码的码云地址: https://gitee.com/MaxBill/HMRP 在上文《hadoop(05)、使用Eclipse连接远程Hadoop集群》中我们主要实践了使用Eclispe开发工具安 装hadoop的开发插件,并且使用h...

MaxBill
2017/12/28
210
0
windows 环境下Eclipse开发MapReduce环境设置

1、Hadoop开发环境简介 1.1 Hadoop集群简介 Java版本:jdk-6u31-linux-i586.bin Linux系统:CentOS6.0 Hadoop版本:hadoop-1.0.0.tar.gz 1.2 Windows开发简介 Java版本:jdk-6u31-windows-i5......

加油_张
2013/11/30
13.6K
0
hadoop(03)、Hadoop Map/Reduce框架的简单实践

本文源码码云地址:https://gitee.com/MaxBill/hadoop 在上篇《hadoop(02)、使用JAVA API对HDFS进行基本操作》中,通过JAVA API连接HDFS系统进行了基本的操作实践,本文将使用Hadoop的Map/R...

MaxBill
2017/11/19
110
0

没有更多内容

加载失败,请刷新页面

加载更多

不就是SELECT COUNT语句吗,竟然能被面试官虐的体无完肤

数据库查询相信很多人都不陌生,所有经常有人调侃程序员就是CRUD专员,这所谓的CRUD指的就是数据库的增删改查。 在数据库的增删改查操作中,使用最频繁的就是查询操作。而在所有查询操作中,...

HollisChuang
17分钟前
3
0
乐观锁和悲观锁

乐观锁和悲观锁 在并发环境下,事务的隔离性很难保证,因此会出现很多并发一致性的问题 事务的特性:原子性、一致性、隔离性、持久性 1、丢失修改:T1和T2两个事务对同一个数据进行修改,T1先...

大瑞清_liurq
26分钟前
5
0
Scrum敏捷价值观与原则

Scrum是一种迭代式增量软件开发过程,通常用于敏捷软件开发。如果还不知道Scrum敏捷开发的朋友们,请出门左转,点击 Scrum 了解。 敏捷价值观 个体和互动 高于 流程和工具 工作的软件 高于 ...

醉美閑聖
26分钟前
4
0
android焦点

final RelativeLayout relativeLayout=new RelativeLayout(context); relativeLayout.setClickable(true); relativeLayout.setFocusable(true); rel......

安卓工程师王恒
28分钟前
3
0
IP地址分配与中继设备简介

1. TCP/IP模型 TCP/IP协议是在OSI参考模型出现之间就被开发的,并广泛部署在计算机网络中。但是,后来由于概念混淆,TCP/IP模型的层次和名称往往与OSI模型的层次名称相互借用。如图1.所示。 ...

xiangyunyan
29分钟前
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部