文档章节

hadoop :mkdir: 'input': No such file or directory 相关问题

wangxuwei
 wangxuwei
发布于 2017/08/16 01:09
字数 452
阅读 109
收藏 0

#程序员薪资揭榜#你做程序员几年了?月薪多少?发量还在么?>>>

初接触hadoop,遇到的问题真不少。在执行bin/hadoop fs -mkdir input时,出错了。测试发现,bin/hadoop fs -ls也不行。排查了一会才发现是版本的原因:

2.x以前的版本这个命令,2.x之后的版本命令改成了:

bin/hdfs dfs -mkdir -p ..

input目录创建完成之后,开始上传本地目录:

bin/hdfs dfs -put /root/data /input  

发现报错,试试拷贝本地文件:

bin/hdfs dfs -copyFromLocal /root/data/person.txt /input 

发现也报错:

看提示应该是datanode没启动。通过jps查看,果然是。然后开始重启hadoop,重启了之后,发现datanode依然没成功启来。没办法了,去查启动日志,发现以下异常:

FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool <registering> (Datanode Uuid unassigned) service to spark1/192.168.122.113:9000. Exiting.

java.io.IOException: Incompatible clusterIDs in /usr/local/programs/hadoop/tmp/dfs/data: namenode clusterID = CID-19f887ba-2e8d-4c7e-ae01-e38a30581693; datanode clusterID = CID-14aac0b3-3c32-45db-adb8-b5fc494eaa3d

这提示应该是指两个clusterID不一致。开始检查dfs下文件,data 和 name文件夹下有一部分文件。本想试试能不能通过文件覆盖解决不一致问题,后来觉得麻烦,就直接把文件name 和 data下的文件删了。然后重启hadoop...

本以为应该很顺利,没想问题又来了:

2016-05-13 15:28:28,952 INFO org.apache.hadoop.hdfs.server.common.Storage: Lock on /usr/local/programs/hadoop/dfs/name/in_use.lock acquired by nodename 25041@spark1
2016-05-13 15:28:28,954 WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Encountered exception loading fsimage
java.io.IOException: NameNode is not formatted.
	at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:212)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFSImage(FSNamesystem.java:1022)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFromDisk(FSNamesystem.java:741)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.loadNamesystem(NameNode.java:538)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:597)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:764)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:748)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1441)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1507)

接着去格式化namenode..然后,

bin/hdfs dfs -mkdir -p /input
bin/hdfs dfs -put /root/data /input

OK.

接下来,终于可以开始通过spark读取分析hdfs的文件了。。。

本文转载自:http://blog.csdn.net/ludonqin/article/details/51396187

wangxuwei
粉丝 30
博文 354
码字总数 151991
作品 0
杭州
其他
私信 提问
加载中

评论(0)

hadoop namenode格式化错误处理

14/05/29 23:41:30 INFO namenode.NameNode: registered UNIX signal handlers for [TERM, HUP, INT]14/05/29 23:41:31 WARN util.NativeCodeLoader: Unable to load native-hadoop library ......

蓝狐乐队
2014/05/29
5.2K
0
Hadoop 3.1.0 在 Ubuntu 16.04 上安装时遇到的问题

1、Hadoop 安装 pdsh localhost: Connection refused Hadoop安装过程中使用 $ sbin/start-dfs.sh 启动节点时,发生错误提示: pdsh@xxx: localhost: connect: Connection refused 解决办法:......

osc_a9fd007s
2018/06/11
1
0
hadoop系列一:安装过程简介及一些注意项

今天在公司服务器centos7上安装hadoop,参考了这个安装教程,同时参考这个博客。 安装的流程大致如下: 1.单机安装 下载好jdk和hadoop压缩文件 创建linux新用户hadoop, 创建新目录/opt/hadoop...

zoulala
2018/10/18
822
0
hadoop dfs -mkdir data 为什么执行 这个不成功呢???

@开源中国首席潜水员 你好,想跟你请教个问题: hadoop@master ~]$ mkdir data [hadoop@master ~]$ hadoop dfs -mkdir data DEPRECATED: Use of this script to execute hdfs command is dep......

天池番薯
2015/08/05
1.9K
8
单机安装hadoop-2.9.2+apache-hive-2.3.4-bin

system: centos7.5 hostname: hadoop1 soft: hadoop-2.9.2 apache-hive-2.3.4-bin jdk-8u201-linux-x64 mysql5.7《安装略》 设置静态ip地址 略 添加主机与ip映射 [root@hadoop1 ~]# cat /etc......

zhuxtqw
2019/04/21
0
0

没有更多内容

加载失败,请刷新页面

加载更多

【视频】工业互联网在线交流现状、发展、怎么建和规划

PPT介绍目录: 工业互联网的现状 平台介绍 技术路线 人力资源 现实问题 成本中心 工业互联网的发展 两大推动引擎 用户需求的改变 片面与极端 由点到面,点面结合 突破点 现实路径 落脚点 工业...

osc_3ubrwgtm
38分钟前
51
0
单臂-Etrunk-三层交换-路由-DHCP中继-NAT-HTTP服务 实验题

单臂-Etrunk-三层交换-路由-DHCP中继-NAT-HTTP服务 实验题 实验环境 需求描述 pc1、pc2、pc3、pc4可以ping通 虚拟机可以打开网页 了解dhcp中继 了解网络地址转换技术NAT 了解access口跟trunk...

osc_h7zc4umy
38分钟前
24
0
医院防勒索病毒灾备解决方案

医院成勒索病毒重灾区 上述某妇幼保健院并非是个例。近年来,针对医院等医疗系统的网络安全风险一直处于活跃状态且呈现持续上升的态势。医院的业务系统及医学记录、病患资料、预约信息等大量...

osc_gh0ost1g
40分钟前
18
0
2招带你快速获取响应头与发送头

今天带大家用两招快速获取响应头以及发送头。 1、获取请求头 想要获取请求头,就需要会用抓包工具,目前比较普遍的就是fiddler。大家可以在百度搜索下载。首先我们打开fiddler 你会发现左侧这...

osc_3g4j2ghj
42分钟前
20
0
Python Django 数据库基础

对数据库的操作可以直接使用SQL语句,也可以使用图形界面工具。这些一般是DBA(数据库管理人员)做的。开发人员是使用代码链接数据库,对数据库进行操作。 下面进行Python Django框架ORM创建...

osc_itgved4p
44分钟前
26
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部