文档章节

启动namenode和datanode后重新格式化文件系统后无法上传文件

b
 benny周
发布于 2017/04/22 16:41
字数 232
阅读 33
收藏 0

出现的现象

put: File /user/benny/input/yarn-site.xml.COPYING could only be replicated to 0 nodes instead of minReplication (=1). There are 0 datanode(s) running and no node(s) are excluded in this operation.

#原因 在第一次格式化dfs后,启动并使用了hadoop,后来又重新执行了格式化命令(hdfs namenode -format),这时namenode的clusterID会重新生成,而datanode的clusterID 保持不变。

#解决方法

打开hdfs-site.xml里配置的datanode和namenode对应的目录(默认路径${hadoop.tmp.dir}/dfs/data),分别打开current文件夹里的VERSION,可以看到clusterID项正如日志里记录的一样,确实不一致,修改datanode里VERSION文件的clusterID 与namenode里的一致,再重新启动

© 著作权归作者所有

b
粉丝 5
博文 49
码字总数 20924
作品 0
深圳
程序员
私信 提问
Hadoop常见错误及处理方法

1、Hadoop-root-datanode-master.log 中有如下错误: ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in 导致datanode启动不了。......

长征2号
2017/11/01
0
0
分布式文件系统部署

环境:rhel6.3 主机:192.168.0.30 master //slave节点可以为多个,这里我们演示两个节点 192.168.0.31 slave 192.168.0.33 slave 主节点包括名称节点、从属名称节点和 jobtracker 守护进程(...

HI曲奇饼干
2016/06/03
109
1
恢复hdfs的namenode

最近公司因为断电之前没有关闭Hadoop集群,造成数据丢失,namenode坏了,无法启动,所以我尝试恢复。 方法一:使用hadoop namenode -importCheckpoint 1、删除name目录: 1 [hadoop@node1 hd...

choulanlan
2017/05/18
0
0
大数据2 Hadoop伪分布模式配置部署

Hadoop伪分布模式配置部署 一、实验环境说明 注意:本实验需要按照上一节单机模式部署后继续进行操作 1. 环境登录 无需密码自动登录,系统用户名 shiyanlou 2. 环境介绍 本实验环境采用带桌面...

齐勇cn
2016/07/29
112
0
Hadoop问题:DataNode进程不见了

DataNode进程不见了 问题描述 最近配置Hadoop的时候出现了这么一个现象,启动之后,使用jps命令之后是这样的: 看不到DataNode进程,但是能够正常的工作,是不是很神奇啊? 在一番百度谷歌之...

星汉
2018/05/20
901
11

没有更多内容

加载失败,请刷新页面

加载更多

《Designing.Data-Intensive.Applications》笔记 四

第九章 一致性与共识 分布式系统最重要的的抽象之一是共识(consensus):让所有的节点对某件事达成一致。 最终一致性(eventual consistency)只提供较弱的保证,需要探索更高的一致性保证(stro...

丰田破产标志
今天
6
0
docker 使用mysql

1, 进入容器 比如 myslq1 里面进行操作 docker exec -it mysql1 /bin/bash 2. 退出 容器 交互: exit 3. mysql 启动在容器里面,并且 可以本地连接mysql docker run --name mysql1 --env MY...

之渊
今天
7
0
python数据结构

1、字符串及其方法(案例来自Python-100-Days) def main(): str1 = 'hello, world!' # 通过len函数计算字符串的长度 print(len(str1)) # 13 # 获得字符串首字母大写的...

huijue
今天
5
0
OSChina 周日乱弹 —— 我,小小编辑,食人族酋长

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @宇辰OSC :分享娃娃的单曲《飘洋过海来看你》: #今日歌曲推荐# 《飘洋过海来看你》- 娃娃 手机党少年们想听歌,请使劲儿戳(这里) @宇辰OSC...

小小编辑
今天
1K
11
MongoDB系列-- SpringBoot 中对 MongoDB 的 基本操作

SpringBoot 中对 MongoDB 的 基本操作 Database 库的创建 首先 在MongoDB 操作客户端 Robo 3T 中 创建数据库: 增加用户User: 创建 Collections 集合(类似mysql 中的 表): 后面我们大部分都...

TcWong
今天
40
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部