文档章节

hadoop(05)、使用Eclipse连接远程Hadoop集群

MaxBill
 MaxBill
发布于 2017/12/22 16:37
字数 603
阅读 443
收藏 27

         在前面的文中我们分别搭建了单机和集群的Hadoop环境,今天我们将实践使用Eclispe开发工具安装

hadoop的开发插件,并且使用hadoop插件连接Hadoop远程集群,文中有什么不对的地方,请大家指出来

共同学习。

一、环境准备

1.Eclipse Java EE IDE for Web Developers- Oxygen.2 Release (4.7.2)

2.Eclipse的Hadoop插件hadoop-eclipse-plugin-2.6.0.jar

3.Hadoop集群环境

4.deepin15.5稳定版linux系统

注:以上都是本次实践的版本,大家可以选择适合自己的版本

二、安装Eclispe的Hadoop开发插件

1.下载Eclipse的Hadoop插件hadoop-eclipse-plugin-2.6.0.jar,下载地址:

https://github.com/winghc/hadoop2x-eclipse-plugin

2.将插件复制到eclipse安装目录下的plugins目录

3.启动或者重启Eclispe开发工具

4.打开eclipse的show View窗口,看到了我们安装的Hadoop的插件

5.点击Map/Reduce Locations打开视图

出现的是hadoop的Map/Reduce开发相关的视图,在视图区域右上方有蓝色小象的添加按钮,此时插件工作配置完成

三、启动Hadoop集群环境

1.SSH连接Hadoop集群的master节点机器,启动hadoop集群

2.验证集群是否正常启动

在master节点执行hadoop dfsadmin -report验证

打开yarn的web查看

hadoop集群搭建可参考《hadoop(04)、Hadoop 集群模式搭建实践

四、创建配置Map/Reduce Locations

1. 打开eclispe到Map/Reduce Locations视图窗口

2.点击蓝色小大象按钮

3.配置Map/Reduce Locations信息

注意填写参数:

Lacation Name:为该位置命名
MapReduce Master:与$HADOOP_DIRCONF/mapred-site.xml配置保持一致;
HDFS Master:与$HADOOP_DIRCONF/core-site.xml配置保持一致
User Name:登录hadoop用户名,可以填写其他的

4.点击完成即可

5.验证配置,点击DFS  Locations

五、总结

         本文主要实践了eclispe安装hadoop的插件,和在eclispe下使用hadoop插件连接远程hadoop集群的操作,后面我们将使用改开发环境开发hadoop的作业任务。

 

      

        

© 著作权归作者所有

MaxBill

MaxBill

粉丝 58
博文 87
码字总数 74493
作品 1
宝山
后端工程师
私信 提问
hadoop(06)、使用Eclipse开发Hadoop的MapReduce项目

本文实践源代码的码云地址: https://gitee.com/MaxBill/HMRP 在上文《hadoop(05)、使用Eclipse连接远程Hadoop集群》中我们主要实践了使用Eclispe开发工具安 装hadoop的开发插件,并且使用h...

MaxBill
2017/12/28
224
0
实战 windows7 下 eclipse 远程调试 linux hadoop

恩,之所以有这篇博客,是因为最近又有童鞋咨询怎么在 windows 7 下用eclipse远程调试部署在linux下的hadoop,其实我自己不这么混搭的,既然有童鞋这么问了,那我就索性随着折腾一把了。 首先...

大数据之路
2013/04/15
18.8K
13
零基础学习hadoop到上手工作线路指导(编程篇)

问题导读: 1.hadoop编程需要哪些基础? 2.hadoop编程需要注意哪些问题? 3.如何创建mapreduce程序及其包含几部分? 4.如何远程连接eclipse,可能会遇到什么问题? 5.如何编译hadoop源码? ...

一枚Sir
2014/08/07
898
0
eclipse上搭建hadoop开发环境

一、概述 1.实验使用的Hadoop集群为伪分布式模式,eclipse相关配置已完成; 2.软件版本为hadoop-2.7.3.tar.gz、apache-maven-3.5.0.rar。 二、使用eclipse连接hadoop集群进行开发 1.在开发主...

一语成谶灬
2017/09/07
0
0
Hdoop 学习笔记

简介:Hadoop分布式系统体系结构的核心: HDFS和MapReduce 。HDFS在集群上实现分布式文件系统,MapReduce在集群上实现了分布式计算和任务处理。HDFS在MapReduce任务处理过程中提供了文件操作...

james_lz
2016/03/08
87
0

没有更多内容

加载失败,请刷新页面

加载更多

荣耀笔记本装Win10系统攻略,一文教你快速入门

     荣耀MagicBook科技尝鲜版发布已经有一段时间了,这个预装了Linux版本的笔记本在原来已经极具性价比的基础上又便宜了300元,而荣耀笔记本如何安装Win10系统俨然成为了热门话题。对于...

梅丽莎好
15分钟前
4
0
CentOS7 部署 redis 5.0.6 集群

环境 操作系统: CentOS7.7,关闭 firewalld 和 selinux Redis: 5.0.6 master 实例 10.0.4.110:6371 10.0.4.110:6372 10.0.4.110:6373 slave 实例 10.0.4.111:6371 10.0.4.111:6372 10.0.4.1......

俊赛潘安-才比管乐
48分钟前
28
0
怎么录制电脑上视频素材的声音

随着短视频的不断发展人们越来越喜欢利用空闲时间观看一些短视频用以打发零碎的时间,不少人发现这个机遇也匆匆走上制作短视频的道路,在制作短视频时配音是至关重要的,那你知道怎么在视频素...

cenfeng123
56分钟前
6
0
[springboot 开发单体web shop] 6. 商品分类和轮播广告展示

商品分类&轮播广告 因最近又被困在了OSGI技术POC,更新进度有点慢,希望大家不要怪罪哦。 上节 我们实现了登录之后前端的展示,如: 接着,我们来实现左侧分类栏目的功能。 商品分类|Produc...

IsaacZhang
57分钟前
5
0
java 静态代码块,代码块,构造方法执行顺序

回顾一下java的执行顺序 public class Demo { public Demo() { super(); System.out.println("this is Demo"); } static { System.out.println("this is static"); } { System.out.println("......

漫步行者
今天
7
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部