hadoop-eclipse-plugin-2.x.x 插件安装

原创
2020/03/24 11:12
阅读数 164

window环境下开发使用hadoop,方便调试, Hadoop 提供了一个 Eclipse 插件以方便用户在 Eclipse 集成开发环境中使用 Hadoop,如管理 HDFS 上的文件、提交作业、调试 MapReduce 程序等。

地址: https://github.com/winghc/hadoop2x-eclipse-plugin/tree/a2e00ed4eb4089c28509ac81ca7ac385c32e265c

这是在github上面官方的资源,有三个版本,2.2.0、2.4.1、2.6.0,选择和自己hadoop版本一致的jar包,放入eclipse安装目录下的plugins文件夹内。启动eclipse,打开 window-》preference ,查看是否有Hadoop  Map/Reduce选项。有则说明安装成功,没有的话,尝试将eclipse安装目录下的../configuration/org.eclipse.update文件夹删除。我将这个文件删除后就能够显示Hadoop Map/Reduce选项,说明插件安装成功了。也有的说将jar包放入 dropins 文件夹内成功的,我没试过,可以试试。

假如没有合适的版本,或者官方给的插件都没有办法正常安装,那么就需要自己编译一个jar包了。其他地方有很多成功和失败经验,不多谈了。

安装成功之后后面的步骤都很简单了,在Hadoop  Map/Reduce选项中添加hadoop安装位置,配置Map/ReduceLocations信息,成功之后会在Project Locations中看到DFS Locations下能够看到连接主机,如下图

到这里为止可能会报错Error: Permission denied: user=root, access=READ EXECUTE, inode=' /user/history/done ':mapred:hadoop:drwxrwx---。说明登录用户没有权限操作hdfs,是个权限问题。可以将 conf/hdfs-site.xml,找到dfs.permissions属性修改为false(默认为true

<property>
  <name>dfs.permissions</name>
  <value>false</value>
</property>

不过我修改之后没有用,还是会检查我的用户权限。其实这里的user=root是当前系统内的环境变量 HADOOP_USER_NAME 的值,可以将它修改为hdfs,之后重启eclipse,就能通过权限验证了。

展开阅读全文
打赏
0
0 收藏
分享
加载中
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部