文档章节

hadoop :mkdir: 'input': No such file or directory 相关问题

wangxuwei
 wangxuwei
发布于 2017/08/16 01:09
字数 452
阅读 16
收藏 0
点赞 0
评论 0

初接触hadoop,遇到的问题真不少。在执行bin/hadoop fs -mkdir input时,出错了。测试发现,bin/hadoop fs -ls也不行。排查了一会才发现是版本的原因:

2.x以前的版本这个命令,2.x之后的版本命令改成了:

bin/hdfs dfs -mkdir -p ..

input目录创建完成之后,开始上传本地目录:

bin/hdfs dfs -put /root/data /input  

发现报错,试试拷贝本地文件:

bin/hdfs dfs -copyFromLocal /root/data/person.txt /input 

发现也报错:

看提示应该是datanode没启动。通过jps查看,果然是。然后开始重启hadoop,重启了之后,发现datanode依然没成功启来。没办法了,去查启动日志,发现以下异常:

FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool <registering> (Datanode Uuid unassigned) service to spark1/192.168.122.113:9000. Exiting.

java.io.IOException: Incompatible clusterIDs in /usr/local/programs/hadoop/tmp/dfs/data: namenode clusterID = CID-19f887ba-2e8d-4c7e-ae01-e38a30581693; datanode clusterID = CID-14aac0b3-3c32-45db-adb8-b5fc494eaa3d

这提示应该是指两个clusterID不一致。开始检查dfs下文件,data 和 name文件夹下有一部分文件。本想试试能不能通过文件覆盖解决不一致问题,后来觉得麻烦,就直接把文件name 和 data下的文件删了。然后重启hadoop...

本以为应该很顺利,没想问题又来了:

2016-05-13 15:28:28,952 INFO org.apache.hadoop.hdfs.server.common.Storage: Lock on /usr/local/programs/hadoop/dfs/name/in_use.lock acquired by nodename 25041@spark1
2016-05-13 15:28:28,954 WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Encountered exception loading fsimage
java.io.IOException: NameNode is not formatted.
	at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:212)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFSImage(FSNamesystem.java:1022)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFromDisk(FSNamesystem.java:741)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.loadNamesystem(NameNode.java:538)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:597)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:764)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:748)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1441)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1507)

接着去格式化namenode..然后,

bin/hdfs dfs -mkdir -p /input
bin/hdfs dfs -put /root/data /input

OK.

接下来,终于可以开始通过spark读取分析hdfs的文件了。。。

本文转载自:http://blog.csdn.net/ludonqin/article/details/51396187

共有 人打赏支持
wangxuwei
粉丝 20
博文 302
码字总数 103978
作品 0
杭州
其他
hadoop namenode格式化错误处理

14/05/29 23:41:30 INFO namenode.NameNode: registered UNIX signal handlers for [TERM, HUP, INT]14/05/29 23:41:31 WARN util.NativeCodeLoader: Unable to load native-hadoop library ......

蓝狐乐队 ⋅ 2014/05/29 ⋅ 0

Hadoop 相关指令

HDFS相关命令 1、bin/hadoop fs -rm file_name 删除hdfs上output内的文件 或者 bin/hadoop dfs -rmr out 删除HDFS下名为out的文档 bin/hadoop fs -rm -r file 删除hdfs上output内的文件夹 (...

liuhao_sh ⋅ 2015/08/07 ⋅ 0

hadoop dfs -mkdir data 为什么执行 这个不成功呢???

@开源中国首席潜水员 你好,想跟你请教个问题: hadoop@master ~]$ mkdir data [hadoop@master ~]$ hadoop dfs -mkdir data DEPRECATED: Use of this script to execute hdfs command is dep......

Baclk5 ⋅ 2015/08/05 ⋅ 8

hadoop任务测试

cd echo “Hello World Bye World” > file01 echo “Hello Hadoop Goodbye Hadoop” > file02 (2)在hdfs 中建立一个input 目录: cd hadoop/hadoop1.0.0/bin/ ./hadoop dfs –mkdir input (......

闵开慧 ⋅ 2012/08/04 ⋅ 0

Hadoop单机和伪分布环境搭建

Hadoop环境搭建与运维 Hadoop概述: Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和...

qq_41338249 ⋅ 05/24 ⋅ 0

hadoop完全分布式教程网页

1、http://blog.csdn.net/ab198604/article/details/8250461 2、http://www.cnblogs.com/laov/p/3421479.html 3、针对2.7.3:http://blog.csdn.net/xiaoxiangzi222/article/details/52757168 ......

u013760453 ⋅ 2017/01/03 ⋅ 0

执行WordCount实例

打开cygwin窗口,输入如下命令: $ net start sshd (启动sshd服务) $ cd hadoop-0.20.2 $ bin/start-all.sh (启动hadoop进程) 首先创建一个目录,在这里以“input”命名: $ mkdir input ...

刘胜球 ⋅ 2013/03/10 ⋅ 0

Bash Shell环境下编译打包MapReduce程序

摘自MapReduce Tutorial. 本文主要内容是在Linux Bash环境下进行Hadoop MapReduce的程序编译及打包。 某些生产环境,存在多层安全加固,导致将IDE中jar包上传至服务器是一件费事费力的事情,...

Yulong_ ⋅ 2016/08/31 ⋅ 0

opentsdb 分布式时间序列数据库安装实践

简介: opentsdb是一个分布式、易扩展的分布式时间序列数据库。基于HBase做存储,一方面使其能支持海量的数据,一方面也非常容易扩展。主要用于一些服务的监控,比如性能等等。 官方文档: ...

王二铁 ⋅ 2016/07/06 ⋅ 3

Windows下使用Hadoop2.6.0-eclipse-plugin插件

首先说一下本人的环境: Windows7 64位系统 Spring Tool Suite Version: 3.4.0.RELEASE Hadoop2.6.0 一.简介 Hadoop2.x之后没有Eclipse插件工具,我们就不能在Eclipse上调试代码,我们要把写...

木偶 ⋅ 2015/04/30 ⋅ 14

没有更多内容

加载失败,请刷新页面

加载更多

下一页

Nginx服务架构初探(四):nginx服务器的rewrite功能

nginx服务器的rewrite功能 1.nginx后端服务器组的配置 1>upstream name {…} name是给服务器组限的组名 2>server address [parameters]; address为服务器地址 parame......

余温灬未存 ⋅ 今天 ⋅ 0

layer.prompt使文本框为空的情况下也能点击确定

最近一直在使用layui,但是用到弹出层layer.prompt时,如果文本框是空的话点击确定没有反应,不能向下执行。 但是我又需要空值,看看我原来的代码。 123456789 layer.prompt...

孟飞阳 ⋅ 今天 ⋅ 0

Linux普通文件压缩工具gzip、Bzip2、xz

第六章 文件压缩和打包 6.1 压缩打包介绍 Linux环境常见压缩文件类型: .zip,.gz,.bz2,.xz, .tar.gz,.tar.bz2,.tar.xz 压缩打包的目的 方便文件传输 节省磁盘空间 减少传输花费的时间 ...

弓正 ⋅ 今天 ⋅ 0

移动弹窗基础知识浅析——IOS弹窗体系

摘要: 最为常见的【弹窗】反而是最“捉摸不定”的东西。各种类型的弹窗傻傻分不清楚,不知道在什么场景下应该用哪种弹窗。尤其是遇到“二次确认”等场景…… 因此,打算从头整理移动弹窗的基...

阿里云云栖社区 ⋅ 今天 ⋅ 0

zabbix短信报警统计以及报表展示

一、需求 由于我们的业务报警比较频繁,之前是针对每个报警进行具体处理,但是有时还会重复出现,或者后续处理有时忘记跟进等,因此进行报警短信的统计,可以针对一些问题与业务跟进,明确后...

o翡翠谷o ⋅ 今天 ⋅ 0

JNI 输出LOG

1、导入log头文件。在你使用的 .c/ .cpp 文件中,导入 log.h 头文件。 #include<android/log.h> 2、在android.mk 加上 LOCAL_LDLIBS := -llog 或 LOCAL_SHARED_LIBRARIES := liblog 3、定义L......

国仔饼 ⋅ 今天 ⋅ 0

主线程pthread_exit 作用

#include <iostream>#include <pthread.h>#include <unistd.h>using namespace std;#define NUM_THREADS 10void* say_hello(void* args){ int i = *((int*)args);/......

xxdd ⋅ 今天 ⋅ 0

崛起于Springboot2.X之Mybatis-xml方式操作mysql数据库(3)

序言:当第一篇讲道Mybatis的时候,只要使用过mybatis的java程序员100%都会知道这种方式,因为这是最广泛最全面的编写sql操作mysql数据库的方式,高级sql的编写往往通过xml方式,接下来进入正...

木九天 ⋅ 今天 ⋅ 2

移动弹窗基础知识浅析——IOS弹窗体系

摘要: 最为常见的【弹窗】反而是最“捉摸不定”的东西。各种类型的弹窗傻傻分不清楚,不知道在什么场景下应该用哪种弹窗。尤其是遇到“二次确认”等场景…… 因此,打算从头整理移动弹窗的基...

猫耳m ⋅ 今天 ⋅ 0

spring elasticsearch 2.4 date 日期

1.mappingPUT user_behavior { "mappings": { "user_behavior": { "properties": { "date": { "type": "createDate", ......

xiaomin0322 ⋅ 今天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部