文档章节

hadoop(05)、使用Eclipse连接远程Hadoop集群

MaxBill
 MaxBill
发布于 2017/12/22 16:37
字数 603
阅读 421
收藏 27

         在前面的文中我们分别搭建了单机和集群的Hadoop环境,今天我们将实践使用Eclispe开发工具安装

hadoop的开发插件,并且使用hadoop插件连接Hadoop远程集群,文中有什么不对的地方,请大家指出来

共同学习。

一、环境准备

1.Eclipse Java EE IDE for Web Developers- Oxygen.2 Release (4.7.2)

2.Eclipse的Hadoop插件hadoop-eclipse-plugin-2.6.0.jar

3.Hadoop集群环境

4.deepin15.5稳定版linux系统

注:以上都是本次实践的版本,大家可以选择适合自己的版本

二、安装Eclispe的Hadoop开发插件

1.下载Eclipse的Hadoop插件hadoop-eclipse-plugin-2.6.0.jar,下载地址:

https://github.com/winghc/hadoop2x-eclipse-plugin

2.将插件复制到eclipse安装目录下的plugins目录

3.启动或者重启Eclispe开发工具

4.打开eclipse的show View窗口,看到了我们安装的Hadoop的插件

5.点击Map/Reduce Locations打开视图

出现的是hadoop的Map/Reduce开发相关的视图,在视图区域右上方有蓝色小象的添加按钮,此时插件工作配置完成

三、启动Hadoop集群环境

1.SSH连接Hadoop集群的master节点机器,启动hadoop集群

2.验证集群是否正常启动

在master节点执行hadoop dfsadmin -report验证

打开yarn的web查看

hadoop集群搭建可参考《hadoop(04)、Hadoop 集群模式搭建实践

四、创建配置Map/Reduce Locations

1. 打开eclispe到Map/Reduce Locations视图窗口

2.点击蓝色小大象按钮

3.配置Map/Reduce Locations信息

注意填写参数:

Lacation Name:为该位置命名
MapReduce Master:与$HADOOP_DIRCONF/mapred-site.xml配置保持一致;
HDFS Master:与$HADOOP_DIRCONF/core-site.xml配置保持一致
User Name:登录hadoop用户名,可以填写其他的

4.点击完成即可

5.验证配置,点击DFS  Locations

五、总结

         本文主要实践了eclispe安装hadoop的插件,和在eclispe下使用hadoop插件连接远程hadoop集群的操作,后面我们将使用改开发环境开发hadoop的作业任务。

 

      

        

© 著作权归作者所有

MaxBill

MaxBill

粉丝 56
博文 81
码字总数 65801
作品 1
宝山
后端工程师
私信 提问
hadoop(06)、使用Eclipse开发Hadoop的MapReduce项目

本文实践源代码的码云地址: https://gitee.com/MaxBill/HMRP 在上文《hadoop(05)、使用Eclipse连接远程Hadoop集群》中我们主要实践了使用Eclispe开发工具安 装hadoop的开发插件,并且使用h...

MaxBill
2017/12/28
210
0
实战 windows7 下 eclipse 远程调试 linux hadoop

恩,之所以有这篇博客,是因为最近又有童鞋咨询怎么在 windows 7 下用eclipse远程调试部署在linux下的hadoop,其实我自己不这么混搭的,既然有童鞋这么问了,那我就索性随着折腾一把了。 首先...

大数据之路
2013/04/15
18.8K
13
零基础学习hadoop到上手工作线路指导(编程篇)

问题导读: 1.hadoop编程需要哪些基础? 2.hadoop编程需要注意哪些问题? 3.如何创建mapreduce程序及其包含几部分? 4.如何远程连接eclipse,可能会遇到什么问题? 5.如何编译hadoop源码? ...

一枚Sir
2014/08/07
896
0
eclipse上搭建hadoop开发环境

一、概述 1.实验使用的Hadoop集群为伪分布式模式,eclipse相关配置已完成; 2.软件版本为hadoop-2.7.3.tar.gz、apache-maven-3.5.0.rar。 二、使用eclipse连接hadoop集群进行开发 1.在开发主...

一语成谶灬
2017/09/07
0
0
Hdoop 学习笔记

简介:Hadoop分布式系统体系结构的核心: HDFS和MapReduce 。HDFS在集群上实现分布式文件系统,MapReduce在集群上实现了分布式计算和任务处理。HDFS在MapReduce任务处理过程中提供了文件操作...

james_lz
2016/03/08
69
0

没有更多内容

加载失败,请刷新页面

加载更多

Electron React Node

NPM配置手册https://cloud.tencent.com/developer/section/1490263 URL编码参考手册:https://www.w3cschool.cn/htmltags/html-urlencode.html 在配置React环境时,提示 npm ERR! code ECON......

DB_Terrill
11分钟前
0
0
Knative 实战:基于阿里云 Kafka 实现消息推送

在 Knative 中已经提供了对 Kafka 事件源的支持,那么如何在阿里云上基于 Kafka 实现消息推送,本文给大家解锁这一新的姿势。 背景 消息队列 for Apache Kafka 是阿里云提供的分布式、高吞吐...

阿里云官方博客
12分钟前
2
0
自动评论csdn博客文章实现

正文 我们来用java代码爬取csdn博客网站,然后自动评论,这一波操作可以说是相当风骚了,话不多说,咱上代码。 第一步是登录代码,这个网上一大把,代码中用到了jsoup依赖包,用于解析html获...

码农实战
13分钟前
2
0
java速查手册Java Syntax Cheatsheet for Algorithms by TCXX

Numbers static MAX_VALUE xxxValue() public int compareTo(XXX) public boolean equals(Object o) static Integer valueOf(int i) static Integer valueOf(String s) static Integer value......

momo1987
22分钟前
2
0
vue Property or method "***" is not defined on the instance but referenced during render.报错

报错:title不是个方法 解决: 把:去掉不报错了

栾小糖
26分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部