文档章节

hdfs 的namenode无法启动

 朱志云
发布于 2015/01/15 15:48
字数 345
阅读 252
收藏 0

在安装hadoop2.6.0的linux上

格式化hdfs文件系统 hadoop namenode -format

启动hdfs 和MapReduce守护进程(start-dfs.sh、start-yarn.sh)

开始在hdfs文件系统中进行操作

由于偶然原因,机器重启

当再次启动hdfs和mapreduce守护进程后,hdfs文件系统无法操作了

显示:(ls: Call From ubuntu/127.0.1.1 to localhost:8020 failed on connection exception: java.net.ConnectException: 拒绝连接; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused)

jps命令显示namenode没有启动 

网上有些建议:格式化hdfs文件系统,虽然可以重新使用,但是之前操作的文件都没了

又在网上找了一下,说

    每次开机都得重新格式化一下namenode才可以

其实问题就出在tmp文件,默认的tmp文件每次重新开机会被清空,与此同时namenode的格式化信息就会丢失

于是我们得重新配置一个tmp文件目录

首先在home目录下建立一个hadoop_tmp目录

sudo mkdir ~/hadoop_tmp

然后修改hadoop/conf目录里面的core-site.xml文件,加入以下节点:

<property>

<name>hadoop.tmp.dir</name>

<value>/home/chjzh/hadoop_tmp</value>

<description>A base for other temporary directories.</description>

</property>

注意:我的用户是chjzh所以目录是/home/chjzh/hadoop_tmp

OK了,重新格式化Namenode

hadoop namenode -format

然后启动hadoop

start-all.sh

执行下JPS命令就可以看到NameNode了

试了一下,果然可以


© 著作权归作者所有

共有 人打赏支持
粉丝 0
博文 8
码字总数 1620
作品 0
南京
程序员
私信 提问
hadoop集群启动是的datanode启动时碰到的问题

1、启动hadoop,发现50070页面无法访问,jps后发现namenode未启动,到hadoop的logs日志中查看发现报错 java.io.IOException: Premature EOF from inputStream at org.apache.hadoop.io.IOUt...

281824088
2017/02/22
0
0
hadoop 常见错误

1.Got too many exceptions to achieve quorum size 2/3. 3 exceptions thrown: 2016-01-05 23:03:32,967 FATAL org.apache.hadoop.hdfs.server.namenode.FSEditLog: Error: recoverUnfinali......

ifree613
2016/03/04
1K
0
datanode无法启动,StorageLocation [DISK]file:/home/hadoop/hadoopinfra/hdfs/datanode EPERM: Operation not permitted

初次尝试安装hadoop3.0.3,输入start-dfs.sh指令后namenode可以正常启动,但无法启动datanode,在hdfs-site.xml中datanode和namenode路径信息设置都差不多的,为啥namenode启动没问题,datanode不...

zhangjin7
08/01
189
1
Hadoop学习笔记之HDFS

hadoop是一个适合大数据处理的分布式的存储以及计算平台,我个人感觉称他为平台是 非常贴切的,因为不管是hive、hbase等这类产品都是需要依赖hadoop的两个核心hdfs和mapreduce。hdfs和mapre...

ivan-Zhao
2015/11/06
0
0
Hadoop namenode无法启动问题解决

原文:http://www.cnblogs.com/unflynaomi/p/4476870.html 原因:在root账户(非hadoop账户)下操作hadoop会导致很大的问题。 首先运行bin/start-all.sh发现namenode没有启动 只有它们 9428 D...

夏春涛
2017/10/04
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Flink-数据流编程模型

1、抽象等级 Flink提供了不同级别的抽象来开发流/批处理应用程序。 1) 低层级的抽象 最低层次的抽象仅仅提供有状态流。它通过Process函数嵌入到DataStream API中。它允许用户自由地处理来自一...

liwei2000
21分钟前
1
0
Java开发Swing实战JFrame和JTabbedPane容器的用法详细解析

概述: 项目是一个桌面程序,涉及标签和按钮组件、布局管理器组件、面板组件、列表框和下拉框组件等组件,以及Swing事件处理机制。 下面先从最基础的界面开始。 /** * @author: lishuai * @...

金铭鼎IT教育
26分钟前
7
0
flask 之旅

环境 为了正确地跑起来,你的应用需要依赖许多不同的软件。 就算是再怎么否认这一点的人,也无法否认至少需要依赖Flask本身。 你的应用的运行环境,在当你想要让它跑起来时,是至关重要的。 ...

hblt-j
26分钟前
5
0
easyui的上传文件

记录一下自己亲手操刀easyui的心得:不用不知道,一用就问题多,网上查资料,有用的真的太少了 ——————————————————正文 FileBox,还是不错的讲真,至少我去自己写就gaga了...

anlve
27分钟前
4
0
如何做好SQLite 使用质量检测,让事故消灭在摇篮里

本文由云+社区发表 SQLite 在移动端开发中广泛使用,其使用质量直接影响到产品的体验。 常见的 SQLite 质量监控一般都是依赖上线后反馈的机制,比如耗时监控或者用户反馈。这种方式问题是: ...

腾讯云加社区
30分钟前
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部