文档章节

hadoop datanode起不来

 张欢19933
发布于 2017/03/17 17:46
字数 330
阅读 142
收藏 0

错误

2017-02-13 16:09:38,948 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool <registering> (Datanode Uuid unassigned) service to WaUatWeb02/132.37.2.76:8920 Incompatible clusterIDs in /wapp/uniiof/uatusers/wauathdp01/hadoop/dfs1/dn: namenode clusterID = CID-f536f980-1981-4185-87ed-73730c7bdfd2; datanode clusterID = CID-53af90f8-1108-45f6-9079-fb76e765399d
2017-02-13 16:09:38,949 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool <registering> (Datanode Uuid unassigned) service to WaUatWeb01/132.37.2.75:8920. Exiting. 
java.io.IOException: Cluster IDs not matched: dn cid=CID-f536f980-1981-4185-87ed-73730c7bdfd2 but ns cid=CID-53af90f8-1108-45f6-9079-fb76e765399d; bpid=BP-737580364-132.37.2.75-1464053974305
	at org.apache.hadoop.hdfs.server.datanode.DataNode.setClusterId(DataNode.java:302)
	at org.apache.hadoop.hdfs.server.datanode.DataNode.initBlockPool(DataNode.java:939)
	at org.apache.hadoop.hdfs.server.datanode.BPOfferService.verifyAndSetNamespaceInfo(BPOfferService.java:278)
	at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.connectToNNAndHandshake(BPServiceActor.java:220)
	at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.run(BPServiceActor.java:812)
	at java.lang.Thread.run(Thread.java:744)

datanode的clusterID 和 namenode的clusterID 不匹配。

原因

在第一次格式化dfs后,启动并使用了hadoop,后来又重新执行了格式化命令(hdfs namenode -format),这时namenode的clusterID会重新生成,而datanode的clusterID 保持不变。

解决办法

根据日志中的路径,cd /home/hadoop/tmp/dfs
能看到 data和name两个文件夹,
将name/current下的VERSION中的clusterID复制到data/current下的VERSION中,覆盖掉原来的clusterID
让两个保持一致
然后重启,启动后执行jps,查看进程
20131 SecondaryNameNode
20449 NodeManager
19776 NameNode
21123 Jps
19918 DataNode
20305 ResourceManager

注意

当我们重新格式化的时候要删除dfs.namenode.name.dir和dfs.datanode.data.dir 目录下的所有文件

如果没有删除datanode 格式化了namenode,则会引起datanode与namenode版本号不一致的错误

© 著作权归作者所有

粉丝 47
博文 533
码字总数 244932
作品 0
海淀
私信 提问
启动Hadoop HDFS时的“Incompatible clusterIDs”错误原因分析

Hadoop HDFS时的“Incompatible clusterIDs”错误原因分析.pdf “Incompatible clusterIDs”的错误原因是在执行“hdfs namenode -format”之前,没有清空DataNode节点的data目录。 网上一些文...

一见蓝天
2014/04/17
0
0
hadoop-001-启动hadoop 2.5.2 遇到的datanode启动失败

打开日志文件 localhost: starting datanode, logging to /opt/hadoop/logs/hadoop-root-datanode-localhost.out 发现报错 2016-01-17 11:43:53,019 INFO org.apache.hadoop.ipc.Server: IPC......

jxlgzwh
2016/01/17
318
0
【Hadoop】- Hadoop1.x 完全分布式环境搭建

环境: 1台NameNode服务器,2台DataNode服务器 安装步骤 ①:配置/etc/hosts文件:实现集群内部的DNS解析,无需查询DNS服务器,当访问远程主机时首先查询hosts文件是否有配置,如果配置则直接...

ZeroneLove
02/24
0
0
hadoop启动和关闭命令

start-all.sh 启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack stop-all.sh 停止所有的Hadoop守护进程。包括NameNode、 Secondary NameNo...

刺風
2017/11/27
0
0
Hadoop启动和停止脚本解释

start-all.sh 启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack stop-all.sh 停止所有的Hadoop守护进程。包括NameNode、 Secondary NameNo...

593653868
2016/10/13
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Excption与Error包结构,OOM 你遇到过哪些情况,SOF 你遇到过哪些情况

Throwable 是 Java 中所有错误与异常的超类,Throwable 包含两个子类,Error 与 Exception 。用于指示发生了异常情况。 Java 抛出的 Throwable 可以分成三种类型。 被检查异常(checked Exc...

Garphy
今天
5
0
计算机实现原理专题--二进制减法器(二)

在计算机实现原理专题--二进制减法器(一)中说明了基本原理,现准备说明如何来实现。 首先第一步255-b运算相当于对b进行按位取反,因此可将8个非门组成如下图的形式: 由于每次做减法时,我...

FAT_mt
昨天
6
0
好程序员大数据学习路线分享函数+map映射+元祖

好程序员大数据学习路线分享函数+map映射+元祖,大数据各个平台上的语言实现 hadoop 由java实现,2003年至今,三大块:数据处理,数据存储,数据计算 存储: hbase --> 数据成表 处理: hive --> 数...

好程序员官方
昨天
7
0
tabel 中含有复选框的列 数据理解

1、el-ui中实现某一列为复选框 实现多选非常简单: 手动添加一个el-table-column,设type属性为selction即可; 2、@selection-change事件:选项发生勾选状态变化时触发该事件 <el-table @sel...

everthing
昨天
6
0
【技术分享】TestFlight测试的流程文档

上架基本需求资料 1、苹果开发者账号(如还没账号先申请-苹果开发者账号申请教程) 2、开发好的APP 通过本篇教程,可以学习到ios证书申请和打包ipa上传到appstoreconnect.apple.com进行TestF...

qtb999
昨天
10
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部