Hadoop异常总结
博客专区 > goldbin 的博客 > 博客详情
Hadoop异常总结
goldbin 发表于2个月前
Hadoop异常总结
  • 发表于 2个月前
  • 阅读 7
  • 收藏 0
  • 点赞 0
  • 评论 0

腾讯云 十分钟定制你的第一个小程序>>>   

摘要: hadoop启动不正常,hadoop datanode节点超时时间设置,HDFS冗余数据块的自动删除,namenode安全模式问题,ntp时间服务同步问题。

版权声明:本文为yunshuxueyuan原创文章。
如需转载请标明出处: https://my.oschina.net/yunshuxueyuan/blog
QQ技术交流群:299142667

Hadoop异常总结

hadoop的日志目录(/opt/sxt/hadoop-2.6.5/logs)

hadoop启动不正常

用浏览器访问namenode的50070端口,不正常,需要诊断问题出在哪里:

第一步:在服务器的终端命令行使用jps查看相关进程

(namenode1个节点   datanode3个节点   secondary namenode1个节点)

第二步:如果已经知道了启动失败的服务进程,进入到相关进程的日志目录下,查看日志,分析异常的原因

1) 配置文件出错,saxparser  exception; ——找到错误提示中所指出的配置文件检查修改即可

2) unknown host——主机名不认识,配置/etc/hosts文件即可,或者是配置文件中所用主机名跟实际不一致

             (注:在配置文件中,建议使用主机名,而不要用ip地址)

3)directory 访问异常—— 检查namenode的工作目录,看权限是否正常

start-dfs.sh启动后,发现有datanode启动不正常

第一步:查看datanode的日志,看是否有异常,如果没有异常,手动将datanode启动起来sbin/hadoop-daemon.sh start datanode

第二步:很有可能是slaves文件中就没有列出需要启动的datanode

第三步:排除上述两种情况后,基本上,能在日志中看到异常信息:

    1、配置文件

  2、ssh免密登陆没有配置好

       3、datanode的身份标识跟namenode的集群身份标识不一致

(删掉datanode的工作目录)

 

hadoop datanode节点超时时间设置

datanode进程死亡或者网络故障造成datanode无法与namenode通信,namenode不会立即把该节点判定为死亡,要经过一段时间,这段时间暂称作超时时长。HDFS默认的超时时长为10分钟+30秒。如果定义超时时间为timeout,则超时时长的计算公式为:

timeout  = 2 * heartbeat.recheck.interval + 10 * dfs.heartbeat.interval。

而默认的heartbeat.recheck.interval 大小为5分钟,dfs.heartbeat.interval默认为3秒。

需要注意的是hdfs-site.xml 配置文件中的heartbeat.recheck.interval的单位为毫秒,dfs.heartbeat.interval的单位为。所以,举个例子,如果heartbeat.recheck.interval设置为5000(毫秒),dfs.heartbeat.interval设置为3(秒,默认),则总的超时时间为40秒。

hdfs-site.xml中的参数设置格式:

<property>

        <name>heartbeat.recheck.interval</name>

        <value>2000</value>

</property>

<property>

        <name>dfs.heartbeat.interval</name>

        <value>1</value>

</property>

HDFS冗余数据块的自动删除

在日常维护hadoop集群的过程中发现这样一种情况:

某个节点由于网络故障或者DataNode进程死亡,被NameNode判定为死亡,HDFS马上自动开始数据块的容错拷贝;当该节点重新添加到集群中时,由于该节点上的数据其实并没有损坏,所以造成了HDFS上某些block的备份数超过了设定的备份数。通过观察发现,这些多余的数据块经过很长的一段时间才会被完全删除掉,那么这个时间取决于什么呢?

该时间的长短跟数据块报告的间隔时间有关。Datanode会定期将当前该结点上所有的BLOCK信息报告给Namenode,参数dfs.blockreport.intervalMsec就是控制这个报告间隔的参数。

hdfs-site.xml文件中有一个参数:

<property>

<name>dfs.blockreport.intervalMsec</name>

<value>3600000</value>

<description>Determines block reporting interval in milliseconds.</description>

</property>

其中3600000为默认设置,3600000毫秒,即1个小时,也就是说,块报告的时间间隔为1个小时,所以经过了很长时间这些多余的块才被删除掉。通过实际测试发现,当把该参数调整的稍小一点的时候(60秒),多余的数据块确实很快就被删除了。

 

 

namenode安全模式问题

当namenode发现集群中的block丢失数量达到一个阀值时,namenode就进入安全模式状态,不再接受客户端的数据更新请求

在正常情况下,namenode也有可能进入安全模式:

集群启动时(namenode启动时)必定会进入安全模式,然后过一段时间会自动退出安全模式(原因是datanode汇报的过程有一段持续时间)

也确实有异常情况下导致的安全模式

原因:block确实有缺失

措施:可以手动让namenode退出安全模式,bin/hdfs dfsadmin -safemode leave

  或者:调整safemode门限值:  dfs.safemode.threshold.pct=0.999f

 

ntp时间服务同步问题

第一种方式:同步到网络时间服务器

 

 # ntpdate time.windows.com

将硬件时间设置为当前系统时间。

#hwclock –w

加入crontab:    

30 8 * * * root /usr/sbin/ntpdate 192.168.0.1; /sbin/hwclock -w 每天的8:30将进行一次时间同步。

重启crond服务:

service crond restart

 

 

第二种方式:同步到局域网内部的一台时间同步服务器

一、搭建时间同步服务器

1、编译安装ntp server

rpm -qa | grep ntp

若没有找到,则说明没有安装ntp包,从光盘上找到ntp包,使用

rpm -Uvh ntp***.rpm

进行安装

2、修改ntp.conf配置文件

vi /etc/ntp.conf

①、第一种配置:允许任何IP的客户机都可以进行时间同步

将“restrict default nomodify notrap noquery”这行修改成:

restrict default nomodify notrap

配置文件示例:/etc/ntp.conf

②、第二种配置:只允许192.168.23.***网段的客户机进行时间同步

在restrict default nomodify notrap noquery(表示默认拒绝所有IP的时间同步)之后增加一行:

restrict 192.168.23.0 mask 255.255.255.0 nomodify notrap

3、启动ntp服务

service ntpd start

开机启动服务

chkconfig ntpd on

4、ntpd启动后,客户机要等几分钟再与其进行时间同步,否则会提示“no server suitable for synchronization found”错误。

 

二、配置时间同步客户机

手工执行 ntpdate <ntp server> 来同步

或者利用crontab来执行

crontab -e

0 21 * * * ntpdate 192.168.23.22 >> /root/ntpdate.log 2>&1

每天晚上9点进行同步

版权声明:本文为yunshuxueyuan原创文章。
如需转载请标明出处: https://my.oschina.net/yunshuxueyuan/blog
QQ技术交流群:299142667

标签: Hadoop HDFS 大数据
共有 人打赏支持
粉丝 0
博文 13
码字总数 26896
×
goldbin
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: