文档章节

hdfs 的namenode无法启动

 朱志云
发布于 2015/01/15 15:48
字数 345
阅读 640
收藏 0

#程序员薪资揭榜#你做程序员几年了?月薪多少?发量还在么?>>>

在安装hadoop2.6.0的linux上

格式化hdfs文件系统 hadoop namenode -format

启动hdfs 和MapReduce守护进程(start-dfs.sh、start-yarn.sh)

开始在hdfs文件系统中进行操作

由于偶然原因,机器重启

当再次启动hdfs和mapreduce守护进程后,hdfs文件系统无法操作了

显示:(ls: Call From ubuntu/127.0.1.1 to localhost:8020 failed on connection exception: java.net.ConnectException: 拒绝连接; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused)

jps命令显示namenode没有启动 

网上有些建议:格式化hdfs文件系统,虽然可以重新使用,但是之前操作的文件都没了

又在网上找了一下,说

    每次开机都得重新格式化一下namenode才可以

其实问题就出在tmp文件,默认的tmp文件每次重新开机会被清空,与此同时namenode的格式化信息就会丢失

于是我们得重新配置一个tmp文件目录

首先在home目录下建立一个hadoop_tmp目录

sudo mkdir ~/hadoop_tmp

然后修改hadoop/conf目录里面的core-site.xml文件,加入以下节点:

<property>

<name>hadoop.tmp.dir</name>

<value>/home/chjzh/hadoop_tmp</value>

<description>A base for other temporary directories.</description>

</property>

注意:我的用户是chjzh所以目录是/home/chjzh/hadoop_tmp

OK了,重新格式化Namenode

hadoop namenode -format

然后启动hadoop

start-all.sh

执行下JPS命令就可以看到NameNode了

试了一下,果然可以


© 著作权归作者所有

上一篇: NLP常用工具
下一篇: NLP常用工具
粉丝 0
博文 8
码字总数 1620
作品 0
南京
程序员
私信 提问
加载中

评论(0)

hadoop集群启动是的datanode启动时碰到的问题

1、启动hadoop,发现50070页面无法访问,jps后发现namenode未启动,到hadoop的logs日志中查看发现报错 java.io.IOException: Premature EOF from inputStream at org.apache.hadoop.io.IOUt...

281824088
2017/02/22
0
0
启动HDFS时datanode无法启动的坑

启动HDFS 启动hdfs,进入sbin目录,也可以执行./start-all.sh 在此之前要进行NameNode的格式化 格式化是个巨大的坑,慎用!当我们进行多次格式化的时候,会出现datanode无法启动。原因在于多...

osc_ipgs1x3t
2018/05/15
2
0
Hadoop 启动/停止集群和节点的命令

集群 启动/停止Hadoop集群:start-all.sh stop-all.sh 1) 启动NameNode, DataNode 2) 启动JournalNode, JournalNode在hdfs-site.xml中指定edits log存储的位置,主备NameNode共享数据,方便同...

osc_sm6rxbzs
2019/09/20
1
0
hadoop 常见错误

1.Got too many exceptions to achieve quorum size 2/3. 3 exceptions thrown: 2016-01-05 23:03:32,967 FATAL org.apache.hadoop.hdfs.server.namenode.FSEditLog: Error: recoverUnfinali......

ifree613
2016/03/04
2K
0
大数据技术之_07_Hadoop学习_HDFS_HA(高可用)_HA概述+HDFS-HA工作机制+HDFS-HA集群配置+YARN-HA配置+HDFS Federation(联邦) 架构设计

第8章 HDFS HA 高可用8.1 HA概述8.2 HDFS-HA工作机制8.2.1 HDFS-HA工作要点8.2.2 HDFS-HA手动故障转移工作机制8.2.3 HDFS-HA自动故障转移工作机制8.3 HDFS-HA集群配置8.3.1 环境准备8.3.2 规...

osc_9g4x7r4s
2019/02/24
3
0

没有更多内容

加载失败,请刷新页面

加载更多

2020年中国AI基础数据服务行业研究报告(附件下载)

2020年中国AI基础数据服务行业研究报告 请在百度网盘下载 链接: https://pan.baidu.com/s/1-KBY9z1qC5Cbew-89MbXfw 提取码: 2egv...

解优猎头
19分钟前
20
0
转MDL中数据读取

http://yexin218.iteye.com/blog/532184 澄清一个误区:每个Net_BuFFER包含的是一个linked-list的MDL,而不仅仅是一个MDL。所以你要访问Net_BuFFER 中数据,你需要在代码中根据需要的offset遍...

simpower
21分钟前
7
0
怎么将WORD批量转换成PDF?可以批量转换的迅捷PDF转换器!

怎么将WORD批量转换成PDF?如果是一个文档需要进行转换,大家可以通过各式各样的方式去尝试解决,例如最简单的重新编辑,将WORD文档进行复制,粘贴到PDF文档当中,但是这个方法在面对多份WOR...

开源86
24分钟前
18
0
[开源] .Net ORM 访问 人大金仓数据库

前言 京人大金仓信息技术股份有限公司(以下简称“人大金仓”)是具有自主知识产权的国产数据管理软件与服务提供商。人大金仓由中国人民大学一批最早在国内开展数据库教学、科研、开发的专家...

2881099
30分钟前
9
0
phpcms v9 数据表结构

表 1 : v9_admin 管理员表 字段 类型 Null 默认 额外 注释 userid mediumint(6) unsigned PK auto_increment 用户id username varchar(20) YES 用户名 password varchar(32) YES 密码 roleid......

邓振华
31分钟前
20
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部