文档章节

hadoop :mkdir: 'input': No such file or directory 相关问题

wangxuwei
 wangxuwei
发布于 2017/08/16 01:09
字数 452
阅读 18
收藏 0

初接触hadoop,遇到的问题真不少。在执行bin/hadoop fs -mkdir input时,出错了。测试发现,bin/hadoop fs -ls也不行。排查了一会才发现是版本的原因:

2.x以前的版本这个命令,2.x之后的版本命令改成了:

bin/hdfs dfs -mkdir -p ..

input目录创建完成之后,开始上传本地目录:

bin/hdfs dfs -put /root/data /input  

发现报错,试试拷贝本地文件:

bin/hdfs dfs -copyFromLocal /root/data/person.txt /input 

发现也报错:

看提示应该是datanode没启动。通过jps查看,果然是。然后开始重启hadoop,重启了之后,发现datanode依然没成功启来。没办法了,去查启动日志,发现以下异常:

FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool <registering> (Datanode Uuid unassigned) service to spark1/192.168.122.113:9000. Exiting.

java.io.IOException: Incompatible clusterIDs in /usr/local/programs/hadoop/tmp/dfs/data: namenode clusterID = CID-19f887ba-2e8d-4c7e-ae01-e38a30581693; datanode clusterID = CID-14aac0b3-3c32-45db-adb8-b5fc494eaa3d

这提示应该是指两个clusterID不一致。开始检查dfs下文件,data 和 name文件夹下有一部分文件。本想试试能不能通过文件覆盖解决不一致问题,后来觉得麻烦,就直接把文件name 和 data下的文件删了。然后重启hadoop...

本以为应该很顺利,没想问题又来了:

2016-05-13 15:28:28,952 INFO org.apache.hadoop.hdfs.server.common.Storage: Lock on /usr/local/programs/hadoop/dfs/name/in_use.lock acquired by nodename 25041@spark1
2016-05-13 15:28:28,954 WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Encountered exception loading fsimage
java.io.IOException: NameNode is not formatted.
	at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:212)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFSImage(FSNamesystem.java:1022)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFromDisk(FSNamesystem.java:741)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.loadNamesystem(NameNode.java:538)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:597)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:764)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:748)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1441)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1507)

接着去格式化namenode..然后,

bin/hdfs dfs -mkdir -p /input
bin/hdfs dfs -put /root/data /input

OK.

接下来,终于可以开始通过spark读取分析hdfs的文件了。。。

本文转载自:http://blog.csdn.net/ludonqin/article/details/51396187

共有 人打赏支持
wangxuwei
粉丝 23
博文 332
码字总数 115371
作品 0
杭州
其他
hadoop namenode格式化错误处理

14/05/29 23:41:30 INFO namenode.NameNode: registered UNIX signal handlers for [TERM, HUP, INT]14/05/29 23:41:31 WARN util.NativeCodeLoader: Unable to load native-hadoop library ......

蓝狐乐队
2014/05/29
0
0
hadoop dfs -mkdir data 为什么执行 这个不成功呢???

@开源中国首席潜水员 你好,想跟你请教个问题: hadoop@master ~]$ mkdir data [hadoop@master ~]$ hadoop dfs -mkdir data DEPRECATED: Use of this script to execute hdfs command is dep......

Baclk5
2015/08/05
1K
8
Hadoop单机和伪分布环境搭建

Hadoop环境搭建与运维 Hadoop概述: Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和...

qq_41338249
05/24
0
0
hadoop完全分布式教程网页

1、http://blog.csdn.net/ab198604/article/details/8250461 2、http://www.cnblogs.com/laov/p/3421479.html 3、针对2.7.3:http://blog.csdn.net/xiaoxiangzi222/article/details/52757168 ......

u013760453
2017/01/03
0
0
Bash Shell环境下编译打包MapReduce程序

摘自MapReduce Tutorial. 本文主要内容是在Linux Bash环境下进行Hadoop MapReduce的程序编译及打包。 某些生产环境,存在多层安全加固,导致将IDE中jar包上传至服务器是一件费事费力的事情,...

Yulong_
2016/08/31
17
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

Ubuntu18.04 显卡GF-940MX安装NVIDIA-390.77

解决办法: 下面就给大家一个正确的姿势在Ubuntu上安装Nvidia驱动: (a)首先去N卡官网下载自己显卡对应的驱动:www.geforce.cn/drivers (b)下载后好放在英文路径的目录下,怎么简单怎么来...

AI_SKI
今天
1
0
深夜胡思乱想

魔兽世界 最近魔兽世界出了新版本, 周末两天升到了满级,比之前的版本体验好很多,做任务不用抢怪了,不用组队打怪也是共享拾取的。技能简化了很多,哪个亮按哪个。 运维 服务器 产品 之间的...

Firxiao
今天
1
0
MySQL 8 在 Windows 下安装及使用

MySQL 8 带来了全新的体验,比如支持 NoSQL、JSON 等,拥有比 MySQL 5.7 两倍以上的性能提升。本文讲解如何在 Windows 下安装 MySQL 8,以及基本的 MySQL 用法。 下载 下载地址 https://dev....

waylau
今天
0
0
微信第三方平台 access_token is invalid or not latest

微信第三方开发平台code换session_key说的特别容易,但是我一使用就带来无穷无尽的烦恼,搞了一整天也无济于事. 现在记录一下解决问题的过程,方便后来人参考. 我遇到的这个问题搜索了整个网络也...

自由的开源
今天
3
0
openJDK之sun.misc.Unsafe类CAS底层实现

注:这篇文章参考了https://www.cnblogs.com/snowater/p/8303698.html 1.sun.misc.Unsafe中CAS方法 在sun.misc.Unsafe中CAS方法如下: compareAndSwapObject(java.lang.Object arg0, long a......

汉斯-冯-拉特
今天
3
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部