文档章节

hadoop常见异常

o0无忧亦无怖
 o0无忧亦无怖
发布于 2015/10/08 10:39
字数 799
阅读 47
收藏 2

###1、Shell$ExitCodeException 现象:运行hadoop job时出现如下异常:

Exception from container-launch: org.apache.hadoop.util.Shell$ExitCode
Exception: 
Container exited with a non-zero exit code 1

原因及解决办法:原因未知。重启可恢复正常 ###2、Safe mode 现象:分配map reduce任务时产生:

org.apache.hadoop.dfs.SafeModeException: Cannot delete /user/hadoop/input. Name node is in safe mode

说明Hadoop的NameNode处在安全模式下。

经查阅: 安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性,同时根据策略必要的复制或者删除部分数据块。

在分布式文件系统启动的时候,开始的时候会有安全模式,当分布式文件系统处于安全模式的情况下,文件系统中的内容不允许修改也不允许删除,直到安全模式结束。

用户可以通过dfsadmin -safemode value 来操作安全模式,参数value的说明如下: enter - 进入安全模式 leave - 强制NameNode离开安全模式 get - 返回安全模式是否开启的信息 wait - 等待,一直到安全模式结束。

解决方案: hadoop dfsadmin -safemode leave (离开安全模式)

###3、超时错误 SocketTimeoutException 现象:

java.net.SocketTimeoutException: 66000 millis timeout while waiting for channel to be ready for read. c

产生原因: 1.master和slave时钟不同步 由于hadoop集群中的心跳和反馈机制,所以在配置的时候我们会进行时钟同步的操作,当某种原因造成cmos断电后,时钟会错乱,这个时间会产生此异常。 解决方案: 手动设置timezone 同步时间 参考命令 ntpdate date等命令

 2.  由于网络卡顿引起   
   解决方案:设置hadoop集群的修改超时设置

在配置文件中,加入超时设置

<property>
<name>dfs.datanode.socket.write.timeout</name>
<value>3000000</value>
</property>

<property>
<name>dfs.socket.timeout</name>
<value>3000000</value>
</property>

###4、Permission denied: user=li, access=WRITE, inode="":zkpk:supergroup:rwxr-xr-x 原因为用户权限不足,不能访写HDFS中的文件。 解决方案1: 关闭hadoop权限,在hdfs-site.xml文件中添加

<property>    
<name>dfs.permissions</name>    
<value>false</value>    
</property>

解决方案2: 设置权限

###5、could only be replicated to 0 nodes, instead of 1解决办法

现象:

hadoop fs -put /home/hadoop/file/* input
java.io.IOException: File /user/hadoop/input/file1.txt could only be replicated to 0 nodes, instead of 1

产生原因: 1、系统或hdfs是否有足够空间(本人就是因为硬盘空间不足导致异常发生) 2、datanode数是否正常 3、是否在safemode 4、防火墙是否关闭 5、关闭hadoop、格式化、重启hadoop

如果put时出现java.io.IOException: Not a file: hdfs://localhost:9000/user/icymary/input/test-in 解决办法是hadoop dfs -rmr input hadoop dfs -put /home/test-in input 原因是,当执行了多次put之后,就会在分布式文件系统中生成子目录,删除重新put即可。 如果在 hadoop jar hadoop-0.16.0-examples.jar wordcount input output该过程中出现"can only be replicated to node 0, instead of 1",解决办法是,给磁盘释放更多的空间 如果 bin/hadoop jar hadoop-0.16.0-examples.jar wordcount input output过程中 INFO mapred.JobClient: map 0% reduce 0%

且一直卡住,在log日志中也没有出现异样,那么解决办法是,把/etc/hosts里面多余的机器名删掉,即可。

© 著作权归作者所有

o0无忧亦无怖
粉丝 44
博文 102
码字总数 86351
作品 1
海淀
程序员
私信 提问
nutch 部署到eclipse常见错误

Nutch部署到eclipse常见错误 Failed to set permissions of path: tmphadoop-hadoopmapredstaginghadoop1847455384.staging to 0700 之前在eclipse上部署hadoop时好像也遇到过这个问题。但是......

hiqj
2014/04/18
14
0
[Hadoop]那些年踩过的Hadoop坑

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/SunnyYoona/article/details/51659080 1. DataNode未启动 1.1 问题原因 这个问题一般是由于两次或两次以上的格...

sjf0115
2016/06/13
0
0
运行Hadoop作业时一处常见错误以及解决方法

1. 问题描述 当用户编写完Hadoop程序时,准备运行时,经常会抛出以下异常: [15:10:41,949][ INFO][main][org.apache.hadoop.mapred.JobClient:1330] – Task Id : attempt_201202281244_000...

混绅士
2014/12/30
0
0
怎样开启大数据学习之路(干货经验分享)

近几年大数据很火,学习大数据目前主要三个平台hadoop、storm、spark。比如学hadoop,从哪儿开始学首先要根据你的基本情况而定,如果你就一小白,没有任何开发基础,也没有学过任何开发语言,...

让往事随风
2016/04/06
200
0
hadoop常见错误及解决办法!

1:Shuffle Error: Exceeded MAXFAILEDUNIQUE_FETCHES; bailing-out Answer: 程序里面需要打开多个文件,进行分析,系统一般默认数量是1024,(用ulimit -a可以看到)对于正常使用是够了,但...

vieky
2013/03/04
6.4K
0

没有更多内容

加载失败,请刷新页面

加载更多

springboot2.0 maven打包分离lib,resources

springboot将工程打包成jar包后,会出现获取classpath下的文件出现测试环境正常而生产环境文件找不到的问题,这是因为 1、在调试过程中,文件是真实存在于磁盘的某个目录。此时通过获取文件路...

陈俊凯
今天
6
0
BootStrap

一、BootStrap 简洁、直观、强悍的前端开发框架,让web开发更加迅速、简单 中文镜像网站:http://www.bootcss.com 用于开发响应式布局、移动设备优先的WEB项目 1、使用boot 创建文件夹,在文...

wytao1995
今天
10
0
小知识:讲述Linux命令别名与资源文件的区别

别名 别名是命令的快捷方式。为那些需要经常执行,但需要很长时间输入的长命令创建快捷方式很有用。语法是: alias ppp='ping www.baidu.com' 它们并不总是用来缩短长命令。重要的是,你将它...

老孟的Linux私房菜
今天
8
0
《JAVA核心知识》学习笔记(6. Spring 原理)-5

它是一个全面的、企业应用开发一站式的解决方案,贯穿表现层、业务层、持久层。但是 Spring 仍然可以和其他的框架无缝整合。 6.1.1. Spring 特点 6.1.1.1. 轻量级 6.1.1.2. 控制反转 6.1.1....

Shingfi
今天
8
0
Excel导入数据库数据+Excel导入网页数据【实时追踪】

1.Excel导入数据库数据:数据选项卡------>导入数据 2.Excel导入网页数据【实时追踪】:

东方墨天
今天
11
1

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部