文档章节

Hadoop重启后,HDFS权限问题

voyage1314
 voyage1314
发布于 2014/10/23 11:00
字数 201
阅读 36
收藏 0

今天重启了下Hadoop集群,使用Eclipse调试hdfs api的时候报错:

[WARNING] 
java.lang.NullPointerException
	at org.conan.kafka.HdfsUtil.batchWrite(HdfsUtil.java:50)
	at org.conan.kafka.SingleTopicConsumer.run(SingleTopicConsumer.java:144)
	at java.lang.Thread.run(Thread.java:745)
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
	at java.lang.Thread.run(Thread.java:745)

查找HdfsUtil.java 第50行

os.write(buff, 0, buff.length);

发现是写的时候报错,然后折腾了一会儿,也没找到原因,后来想会不会是权限问题(电脑不是管理员身份,hadoop集群是以root身份运行),但是之前已经把hdfs文件夹的权限改为了777。不管了,在试试,hdfs dfs -chmod -R 777 /input,然后再次调试,OK了。

那么问题来了,Hadoop集群难道在每次重启后(没有进行namenode format)都要修改文件(夹)的权限?

依据实践来看,应该是的。

© 著作权归作者所有

voyage1314
粉丝 7
博文 9
码字总数 6947
作品 0
杨浦
程序员
私信 提问
windows eclipse远程连接hadoop集群并提交任务运行

1 下载插件 hadoop-eclipse-plugin-2.5.1.jar 从网上下载对应版本的插件,http://download.csdn.net/detail/tondayong1981/7920973 2 配置插件 把插件放到..eclipseplugins目录下,重启eclip...

张欢19933
2016/02/25
674
0
Hadoop之HDFS的Java实现

1.写在前面的话 以下说明中的配置其实在Hadoop安装与集群配置中已经配置,在此只是重点说明之! HDFS系统会把用到的数据存储在core-site.xml中由hadoop.tmp.dir指定,而这个值默认位于/tmp/...

landy8530
2017/11/12
0
0
eclipse连hadoop2.x运行wordcount

一、新建java工程,并且导入hadoop相关jar包 4.1.2 新建java工程(需要手动导入hadoop相应jar包),具体如下图所示: 4.1.2.1 新建java工程完成后,下面添加hadoop相应jar包,hadoop2.3.0相应...

cjun1990
2015/07/07
3.4K
0
Hadoop之MapReduce的Java实现

今天将为大家演示一下,Hadoop中MR用Java是如何编码实现的。 1.环境准备 1.1 需要把下载的hadoop包解压到windows目录下,注意不要有空格目录或者中文字符 image.png 1.2 配置环境变量 配置系...

landy8530
2017/11/25
0
0
Ranger-Hdfs插件安装

Ranger-Hdfs插件ranger-0.6.0-hdfs-plugin安装到Hdfs的所有NameNode节点, 其他的DataNode节点不需要安装。 1. 登陆hdfs安装的用户,hdfs/zdh1234(用户组hadoop),获取安装包解压安装 tar –z...

木木与呆呆
2018/04/26
0
0

没有更多内容

加载失败,请刷新页面

加载更多

最简单的获取相机拍照的图片

  import android.content.Intent;import android.graphics.Bitmap;import android.os.Bundle;import android.os.Environment;import android.provider.MediaStore;import andr......

MrLins
14分钟前
1
0
说好不哭!数据可视化深度干货,前端开发下一个涨薪点在这里~

随着互联网在各行各业的影响不断深入,数据规模越来越大,各企业也越来越重视数据的价值。作为一家专业的数据智能公司,个推从消息推送服务起家,经过多年的持续耕耘,积累沉淀了海量数据,在...

个推
16分钟前
3
0
第三方支付-返回与回调注意事项

不管是支付宝,微信,还是其它第三方支付,第四方支付,支付机构服务商只要涉及到钱的交易都要进行如下校验,全部成功了才视为成功订单 1.http请求是否成功 2.校验商户号 3.校验订单号及状态...

Shingfi
18分钟前
3
0
简述Java内存分配和回收策略以及Minor GC 和 Major GC(Full GC)

内存分配: 1. 栈区:栈可分为Java虚拟机和本地方法栈 2. 堆区:堆被所有线程共享,在虚拟机启动时创建,是唯一的目的是存放对象实例,是gc的主要区域。通常可分为两个区块年轻代和年老代。更...

DustinChan
24分钟前
4
0
Excel插入批注:可在批注插入文字、形状、图片

1.批注一直显示:审阅选项卡-------->勾选显示批注选项: 2.插入批注快捷键:Shift+F2 组合键 3.在批注中插入图片:鼠标右键点击批注框的小圆点【重点不可以在批注文本框内点击】----->调出批...

东方墨天
48分钟前
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部