eclipse 远程 hadoop

原创
2016/11/17 23:44
阅读数 84

使用版本为2.7.2

相关插件等链接 密码: cmfz

环境变量

HADOOP_HOME=C:\Psoft\hadoop-2.7.2 HADOOP_BIN_PATH=%HADOOP_HOME%\bin HADOOP_PREFIX=C:\Psoft\hadoop-2.7.2

相关软件下载

  1. 下载hadoop-eclipse-plugin插件并安装

  2. 下载windows64位平台的hadoop2.7(x64)V0.2插件包(hadoop.dll,winutils.exe)

hadoop.dll、winutils.exe 这二个最有用,将winutils.exe复制到$HADOOP_HOME\bin目录,将hadoop.dll复制到%windir%\system32目录 (主要是防止插件报各种莫名错误,比如空对象引用啥的)

  1. eclipse 添加配置hadoop-eclipse-plugin插件 http://7xwsew.com1.z0.glb.clouddn.com/hadoop-003-001.jpg

参数: Location name 这里就是起个名字,随便起 Map/Reduce(V2) Master Host 这里就是虚拟机里hadoop master对应的IP地址,下面的端口对应 hdfs-site.xml里dfs.datanode.ipc.address属性所指定的端口 DFS Master Port: 这里的端口,对应core-site.xml里fs.defaultFS所指定的端口 最后的user name要跟虚拟机里运行hadoop的用户名一致,我是用hadoop身份安装运行hadoop 2.7.2的,所以这里填写hadoop,如果你是用root安装的,相应的改成root

遇到问题

  1. 连接报空指针 An internal error occurred during: "Map/Reducelocation status updater".java.lang.NullPointerException

解决:

 在hdfs上建个文件夹 。

 #hdfs dfs -mkdir -p /user/app/input
 #hdfs dfs -mkdir -p /user/app/output

参考:http://www.cnblogs.com/yjmyzz/p/how-to-remote-debug-hadoop-with-eclipse-and-intellij-idea.html
参考:http://www.bkjia.com/ASPjc/931209.html

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部