文档章节

eclipse 远程 hadoop

thelastday
 thelastday
发布于 2016/11/17 23:44
字数 309
阅读 24
收藏 0

使用版本为2.7.2

相关插件等链接 密码: cmfz

环境变量

HADOOP_HOME=C:\Psoft\hadoop-2.7.2 HADOOP_BIN_PATH=%HADOOP_HOME%\bin HADOOP_PREFIX=C:\Psoft\hadoop-2.7.2

相关软件下载

  1. 下载hadoop-eclipse-plugin插件并安装

  2. 下载windows64位平台的hadoop2.7(x64)V0.2插件包(hadoop.dll,winutils.exe)

hadoop.dll、winutils.exe 这二个最有用,将winutils.exe复制到$HADOOP_HOME\bin目录,将hadoop.dll复制到%windir%\system32目录 (主要是防止插件报各种莫名错误,比如空对象引用啥的)

  1. eclipse 添加配置hadoop-eclipse-plugin插件 http://7xwsew.com1.z0.glb.clouddn.com/hadoop-003-001.jpg

参数: Location name 这里就是起个名字,随便起 Map/Reduce(V2) Master Host 这里就是虚拟机里hadoop master对应的IP地址,下面的端口对应 hdfs-site.xml里dfs.datanode.ipc.address属性所指定的端口 DFS Master Port: 这里的端口,对应core-site.xml里fs.defaultFS所指定的端口 最后的user name要跟虚拟机里运行hadoop的用户名一致,我是用hadoop身份安装运行hadoop 2.7.2的,所以这里填写hadoop,如果你是用root安装的,相应的改成root

遇到问题

  1. 连接报空指针 An internal error occurred during: "Map/Reducelocation status updater".java.lang.NullPointerException

解决:

 在hdfs上建个文件夹 。

 #hdfs dfs -mkdir -p /user/app/input
 #hdfs dfs -mkdir -p /user/app/output

参考:http://www.cnblogs.com/yjmyzz/p/how-to-remote-debug-hadoop-with-eclipse-and-intellij-idea.html
参考:http://www.bkjia.com/ASPjc/931209.html

© 著作权归作者所有

上一篇: Hbase安装部署
下一篇: hadoop运行wordcount
thelastday
粉丝 2
博文 9
码字总数 4696
作品 0
渝中
私信 提问
Eclipse连接Hadoop分析的三种方式

Hadoop一般都部署在linux平台上,想让Hadoop执行我们写好的程序,首先需要在本地写好程序打包,然后上传到liunx,最后通过指定命令执行打包好的程序;一次两次还可以,如果进行频繁的调试是很...

ksfzhaohui
2016/10/27
2.4K
0
Eclispe远程调试sqoop

利用eclipse远程调试功能,实现sqoop 本地环境集成: 利用cygwin部署 0、将sqoop-1.4.2放在/home/Administrator/hadoop 1、sqoop中设置HOMEHOME: 修改SQOOPHOME/bin/configure-sqoop :HAD...

超人学院
2015/06/03
363
0
实战 windows7 下 eclipse 远程调试 linux hadoop

恩,之所以有这篇博客,是因为最近又有童鞋咨询怎么在 windows 7 下用eclipse远程调试部署在linux下的hadoop,其实我自己不这么混搭的,既然有童鞋这么问了,那我就索性随着折腾一把了。 首先...

大数据之路
2013/04/15
18.6K
13
零基础学习hadoop到上手工作线路指导(编程篇)

问题导读: 1.hadoop编程需要哪些基础? 2.hadoop编程需要注意哪些问题? 3.如何创建mapreduce程序及其包含几部分? 4.如何远程连接eclipse,可能会遇到什么问题? 5.如何编译hadoop源码? ...

一枚Sir
2014/08/07
892
0
hadoop(05)、使用Eclipse连接远程Hadoop集群

在前面的文中我们分别搭建了单机和集群的Hadoop环境,今天我们将实践使用Eclispe开发工具安装 hadoop的开发插件,并且使用hadoop插件连接Hadoop远程集群,文中有什么不对的地方,请大家指出来...

MaxBill
2017/12/22
406
0

没有更多内容

加载失败,请刷新页面

加载更多

表示数值的字符串

使用正则表达式进行匹配。 [] : 字符集合() : 分组? : 重复 0 ~ 1 次+ : 重复 1 ~ n 次* : 重复 0 ~ n 次. : 任意字符\\. : 转义后的 .\\d : 数字 public b...

Garphy
28分钟前
7
0
大数据最核心的关键技术——32个算法,记得收藏!

奥地利符号计算研究所的Christoph Koutschan博士在自己的页面上发布了一篇文章,提到他做了一个调查,参与者大多数是计算机科学家,他请这些科学家投票选出最重要的算法,以下是这次调查的结...

大数据金罗
58分钟前
12
0
spring boot The server time zone value 'PDT' is unrecognized or represents more than one time zone.

spring boot启动项目时,发现数据库抛如下错误 Caused by: com.mysql.cj.exceptions.InvalidConnectionAttributeException: The server time zone value 'PDT' is unrecognized or represen......

huangkejie
今天
5
0
Laravel 5.1的多路由文件的配置

默认的路由配置文件只有一个, \app\Http\routes.php。 在同一个文件中写路由容易起冲突,文件会越来越大,就需要定义多个路由文件。 找到加载\app\Http\routes.php的文件, 打开\app\Provid...

mdoo
今天
5
0
Hibernate 5 开始使用指南前言

同时在面向对象软件和关系型数据库进行工作,可能会非常复杂和费时。数据在对象和数据库之间可能会不一致,然后导致开发成本会非常高。 Hibernate 是一个针对 Java 环境的对象关系映射(Obj...

honeymoose
今天
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部