文档章节

hdfs 的namenode无法启动

 朱志云
发布于 2015/01/15 15:48
字数 345
阅读 167
收藏 0
点赞 0
评论 0

在安装hadoop2.6.0的linux上

格式化hdfs文件系统 hadoop namenode -format

启动hdfs 和MapReduce守护进程(start-dfs.sh、start-yarn.sh)

开始在hdfs文件系统中进行操作

由于偶然原因,机器重启

当再次启动hdfs和mapreduce守护进程后,hdfs文件系统无法操作了

显示:(ls: Call From ubuntu/127.0.1.1 to localhost:8020 failed on connection exception: java.net.ConnectException: 拒绝连接; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused)

jps命令显示namenode没有启动 

网上有些建议:格式化hdfs文件系统,虽然可以重新使用,但是之前操作的文件都没了

又在网上找了一下,说

    每次开机都得重新格式化一下namenode才可以

其实问题就出在tmp文件,默认的tmp文件每次重新开机会被清空,与此同时namenode的格式化信息就会丢失

于是我们得重新配置一个tmp文件目录

首先在home目录下建立一个hadoop_tmp目录

sudo mkdir ~/hadoop_tmp

然后修改hadoop/conf目录里面的core-site.xml文件,加入以下节点:

<property>

<name>hadoop.tmp.dir</name>

<value>/home/chjzh/hadoop_tmp</value>

<description>A base for other temporary directories.</description>

</property>

注意:我的用户是chjzh所以目录是/home/chjzh/hadoop_tmp

OK了,重新格式化Namenode

hadoop namenode -format

然后启动hadoop

start-all.sh

执行下JPS命令就可以看到NameNode了

试了一下,果然可以


© 著作权归作者所有

共有 人打赏支持
粉丝 0
博文 2
码字总数 1620
作品 0
南京
程序员
hadoop集群启动是的datanode启动时碰到的问题

1、启动hadoop,发现50070页面无法访问,jps后发现namenode未启动,到hadoop的logs日志中查看发现报错 java.io.IOException: Premature EOF from inputStream at org.apache.hadoop.io.IOUt...

281824088 ⋅ 2017/02/22 ⋅ 0

hadoop 常见错误

1.Got too many exceptions to achieve quorum size 2/3. 3 exceptions thrown: 2016-01-05 23:03:32,967 FATAL org.apache.hadoop.hdfs.server.namenode.FSEditLog: Error: recoverUnfinali......

ifree613 ⋅ 2016/03/04 ⋅ 0

Hadoop学习笔记之HDFS

hadoop是一个适合大数据处理的分布式的存储以及计算平台,我个人感觉称他为平台是 非常贴切的,因为不管是hive、hbase等这类产品都是需要依赖hadoop的两个核心hdfs和mapreduce。hdfs和mapre...

ivan-Zhao ⋅ 2015/11/06 ⋅ 0

Hadoop namenode无法启动问题解决

原文:http://www.cnblogs.com/unflynaomi/p/4476870.html 原因:在root账户(非hadoop账户)下操作hadoop会导致很大的问题。 首先运行bin/start-all.sh发现namenode没有启动 只有它们 9428 D...

夏春涛 ⋅ 2017/10/04 ⋅ 0

hadoop2.x启动停止的命令

一、启动,按启动顺序执行命令。如果需要关闭集群,则按反顺序执行即可。 1.如果使用hdfs HA,需先启动zookeeper集群,具体请查看zookeeper的相关命令。 2.如果使用hdfs HA,需格式化zookeep...

cjun1990 ⋅ 2015/07/09 ⋅ 0

Hadoop启动不了Namenode进程,出现IllegalArgumentException异常

这次的问题乍看起来很奇怪,在本机完成配置启动Hadoop的时候,首先,我们需要对namenode进行format,但是在执行了命令之后,却出现了如下的异常:FATAL namenode.NameNode: Exception in nam...

天下杰论 ⋅ 2015/07/13 ⋅ 0

Hadoop集群(三) Hbase搭建

前面已经完成Zookeeper和HDFS的安装,本文会详细介绍Hbase的安装步骤。以及安装过程中遇到问题的汇总。 系列文章: Hadoop集群(一) Zookeeper搭建 Hadoop集群(二) HDFS搭建 Hadoop集群(四) H...

hsbxxl ⋅ 2017/10/11 ⋅ 0

Hadoop集群(二) HDFS搭建

HDFS只是Hadoop最基本的一个服务,很多其他服务,都是基于HDFS展开的。所以部署一个HDFS集群,是很核心的一个动作,也是大数据平台的开始。 安装Hadoop集群,首先需要有Zookeeper才可以完成安...

hsbxxl ⋅ 2017/10/11 ⋅ 0

大数据2 Hadoop伪分布模式配置部署

Hadoop伪分布模式配置部署 一、实验环境说明 注意:本实验需要按照上一节单机模式部署后继续进行操作 1. 环境登录 无需密码自动登录,系统用户名 shiyanlou 2. 环境介绍 本实验环境采用带桌面...

齐勇cn ⋅ 2016/07/29 ⋅ 0

Hadoop-2.6.0集群搭建(多机环境HDFS HA+YARN HA,推荐)

搭建 HDFS HA 和 ResourceManager HA 集群 下载Hadoop: http://hadoop.apache.org/releases.html 集群规划 HDFS HA说明 Hadoop 2.x中通常由两个NameNode组成,一个处于Active状态,另一个处...

翻船全靠浪 ⋅ 2016/04/25 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

熊掌号收录比例对于网站原创数据排名的影响[图]

从去年下半年开始,我在写博客了,因为我觉得业余写写博客也还是很不错的,但是从2017年下半年开始,百度已经推出了原创保护功能和熊掌号平台,为此,我也提交了不少以前的老数据,而这些历史...

原创小博客 ⋅ 37分钟前 ⋅ 0

LVM讲解、磁盘故障小案例

LVM LVM就是动态卷管理,可以将多个硬盘和硬盘分区做成一个逻辑卷,并把这个逻辑卷作为一个整体来统一管理,动态对分区进行扩缩空间大小,安全快捷方便管理。 1.新建分区,更改类型为8e 即L...

蛋黄Yolks ⋅ 55分钟前 ⋅ 0

Hadoop Yarn调度器的选择和使用

一、引言 Yarn在Hadoop的生态系统中担任了资源管理和任务调度的角色。在讨论其构造器之前先简单了解一下Yarn的架构。 上图是Yarn的基本架构,其中ResourceManager是整个架构的核心组件,它负...

p柯西 ⋅ 今天 ⋅ 0

uWSGI + Django @ Ubuntu

创建 Django App Project 创建后, 可以看到路径下有一个wsgi.py的问题 uWSGI运行 直接命令行运行 利用如下命令, 可直接访问 uwsgi --http :8080 --wsgi-file dj/wsgi.py 配置文件 & 运行 [u...

袁祾 ⋅ 今天 ⋅ 0

JVM堆的理解

在JVM中,我们经常提到的就是堆了,堆确实很重要,其实,除了堆之外,还有几个重要的模块,看下图: 大 多数情况下,我们并不需要关心JVM的底层,但是如果了解它的话,对于我们系统调优是非常...

不羁之后 ⋅ 昨天 ⋅ 0

推荐:并发情况下:Java HashMap 形成死循环的原因

在淘宝内网里看到同事发了贴说了一个CPU被100%的线上故障,并且这个事发生了很多次,原因是在Java语言在并发情况下使用HashMap造成Race Condition,从而导致死循环。这个事情我4、5年前也经历...

码代码的小司机 ⋅ 昨天 ⋅ 1

聊聊spring cloud gateway的RetryGatewayFilter

序 本文主要研究一下spring cloud gateway的RetryGatewayFilter GatewayAutoConfiguration spring-cloud-gateway-core-2.0.0.RC2-sources.jar!/org/springframework/cloud/gateway/config/G......

go4it ⋅ 昨天 ⋅ 0

创建新用户和授予MySQL中的权限教程

导读 MySQL是一个开源数据库管理软件,可帮助用户存储,组织和以后检索数据。 它有多种选项来授予特定用户在表和数据库中的细微的权限 - 本教程将简要介绍一些选项。 如何创建新用户 在MySQL...

问题终结者 ⋅ 昨天 ⋅ 0

android -------- 颜色的半透明效果配置

最近有朋友问我 Android 背景颜色的半透明效果配置,我网上看资料,总结了一下, 开发中也是常常遇到的,所以来写篇博客 常用的颜色值格式有: RGB ARGB RRGGBB AARRGGBB 这4种 透明度 透明度...

切切歆语 ⋅ 昨天 ⋅ 0

CentOS开机启动subversion

建立自启动脚本: vim /etc/init.d/subversion 输入如下内容: #!/bin/bash## subversion startup script for the server## chkconfig: 2345 90 10# description: start the subve......

随风而飘 ⋅ 昨天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部