文档章节

大数据系列2:建立开发环境编写HDFS和Map Reduce程序

杨尚川
 杨尚川
发布于 2015/04/06 19:05
字数 464
阅读 115
收藏 2

1、在eclipse中配置hadoop插件

       hadoop-eclipse-plugin-1.2.1.jar 复制到eclipse/plugins目录下,重启eclipse

2、打开MapReduce视图

       Window-> Open Perspective -> Other 选择Map/Reduce,图标是个蓝色的象。

3、添加一个MapReduce环境

      eclipse下端,控制台旁边会多一个Tab,叫“Map/ReduceLocations”,在下面空白的地方点右键,选择“NewHadoop location...”,在弹出的对话框中填写如下内容:

Location name(取个名字)
Map/Reduce MasterJob TrackerIP和端口,根据mapred-site.xml中配置的mapred.job.tracker来填写)
DFS MasterName NodeIP和端口,根据core-site.xml中配置的fs.default.name来填写)

4、使用eclipse对HDFS内容进行操作

    经过上一步骤,左侧“Project Explorer”中应该会出现配置好的HDFS,点击右键,可以进行新建文件夹、删除文件夹、上传文件、下载文件、删除文件等操作。

    注意:每一次操作完在eclipse中不能马上显示变化,必须得刷新一下。 

5、创建MapReduce工程

5.1配置Hadoop路径

      Window-> Preferences 选择 “Hadoop Map/Reduce”,点击“Browse...”选择Hadoop文件夹的路径。这个步骤与运行环境无关,只是在新建工程的时候能将hadoop根目录和lib目录下的所有jar包自动导入。

      5.2创建工程

      File ->New -> Project 选择“Map/ReduceProject”,然后输入项目名称,创建项目。插件会自动把hadoop根目录和lib目录下的所有jar包导入。

      5.3创建Mapper或者Reducer

      File ->New -> Mapper 创建Mapper,自动继承mapred包里面的MapReduceBase并实现Mapper接口。注意:这个插件自动继承的是mapred包里旧版的类和接口,新版的Mapper得自己写。Reducer同理。

 

 

 

 

APDPlat旗下十大开源项目

 

 

 

 

 

© 著作权归作者所有

杨尚川

杨尚川

粉丝 1102
博文 220
码字总数 1624053
作品 12
东城
架构师
私信 提问
Hadoop编写调试MapReduce程序详解

编程学习,最好的方法还是自己动手,所以这里简单介绍在Hadoop上编写调试一个MapReduce程序。 先说一下我的开发环境,我的操作系统是Centos6.0,Hadoop版本是0.20.2,开发环境是eclipse。在H...

miaosu
2013/03/20
12K
3
myeclipse配置hadoop开发环境

1、安装Hadoop开发插件 hadoop安装包contrib/目录下有个插件hadoop-0.20.2-eclipse-plugin.jar,拷贝到myeclipse根目录下/dropins目录下。 2、 启动myeclipse,打开Perspective: 【Window】...

刘胜球
2013/03/10
15.2K
0
hadoop(06)、使用Eclipse开发Hadoop的MapReduce项目

本文实践源代码的码云地址: https://gitee.com/MaxBill/HMRP 在上文《hadoop(05)、使用Eclipse连接远程Hadoop集群》中我们主要实践了使用Eclispe开发工具安 装hadoop的开发插件,并且使用h...

MaxBill
2017/12/28
197
0
windows 环境下Eclipse开发MapReduce环境设置

1、Hadoop开发环境简介 1.1 Hadoop集群简介 Java版本:jdk-6u31-linux-i586.bin Linux系统:CentOS6.0 Hadoop版本:hadoop-1.0.0.tar.gz 1.2 Windows开发简介 Java版本:jdk-6u31-windows-i5......

加油_张
2013/11/30
13.6K
0
hadoop(03)、Hadoop Map/Reduce框架的简单实践

本文源码码云地址:https://gitee.com/MaxBill/hadoop 在上篇《hadoop(02)、使用JAVA API对HDFS进行基本操作》中,通过JAVA API连接HDFS系统进行了基本的操作实践,本文将使用Hadoop的Map/R...

MaxBill
2017/11/19
109
0

没有更多内容

加载失败,请刷新页面

加载更多

Hibernate 5 的模块/包(modules/artifacts)

Hibernate 的功能被拆分成一系列的模块/包(modules/artifacts),其目的是为了对依赖进行独立(模块化)。 模块名称 说明 hibernate-core 这个是 Hibernate 的主要(main (core))模块。定义...

honeymoose
28分钟前
2
0
CSS--属性

一、溢出 当内容多,元素区域小的时候,就会产生溢出效果,默认是纵向溢出 横向溢出:在内容和容器之间再套一层容器,并且内部容器要比外部容器宽 属性:overflow/overflow-x/overflow-y 取值...

wytao1995
47分钟前
4
0
精华帖

第一章 jQuery简介 jQuery是一个JavaScript库 jQuery具备简洁的语法和跨平台的兼容性 简化了JavaScript的操作。 在页面中引入jQuery jQuery是一个JavaScript脚本库,不需要特别的安装,只需要...

流川偑
今天
6
0
语音对话英语翻译在线翻译成中文哪个方法好用

想要进行将中文翻译成英文,或者将英文翻译成中文的操作,其实有一个非常简单的工具就能够帮助完成将语音进行翻译转换的软件。 在应用市场或者百度手机助手等各大应用渠道里面就能够找到一款...

401恶户
今天
3
0
jenkins 插件下载加速最终方案

推荐做法 1、告诉jenkins 我哪些插件需要更新 jenkins插件清华大学镜像地址 https://mirrors.tuna.tsinghua.edu.cn/jenkins/updates/update-center.json 1.进入jenkins系统管理 2.进入插件管...

vasks
今天
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部