文档章节

hadoop namenode格式化错误处理

蓝狐乐队
 蓝狐乐队
发布于 2014/05/29 23:57
字数 250
阅读 5.7K
收藏 2
14/05/29 23:41:30 INFO namenode.NameNode: registered UNIX signal handlers for [TERM, HUP, INT]
14/05/29 23:41:31 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
14/05/29 23:41:32 WARN common.Util: Path /usr/local/hd/dfs/name should be specified as a URI in configuration files. Please update hdfs configuration.
14/05/29 23:41:32 WARN common.Util: Path /usr/local/hd/dfs/name should be specified as a URI in configuration files. Please update hdfs configuration.

将   <property>
                <name>dfs.namenode.name.dir</name>
                <value>/usr/local/hd/dfs/name</value>
         </property>

配置在core-site.xml中

配置HA的时候配置在hdfs-site.xml文件中,不会出现这个问题

2、

hadoop cdh5 beta2 运行Hadoop fs -mkdir 出现这个错误

 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
ls: `.': No such file or directory

运行Hadoop fs -mkdir -p 文件夹名称即可

运行 hadoop fs -ls

14/06/01 10:41:19 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Found 1 items
drwxr-xr-x   - hadoop supergroup          0 2014-06-01 10:41 input

操作成功



© 著作权归作者所有

蓝狐乐队
粉丝 107
博文 326
码字总数 95508
作品 0
昌平
程序员
私信 提问
加载中

评论(0)

Hadoop namenode无容灾备份的情况下,内存溢出后无法启动

问个Hadoop NameNode的相关问题,问题是这样的:我们的生产环境hadoop 2.5只启动了namenode,没启动secondnamenode和做HA,昨天因为master节点内存溢出,挂掉了,然后再次启动的时候就报了这...

苍松
2017/03/30
554
1
Hadoop基础之HA的安装与配置

即上篇文章Hadoop基础之HA(高可用)之后,本文将介绍HDFS HA的搭建与配置。参考官方文档:http://hadoop.apache.org/docs/r2.7.4/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWith...

landy8530
2017/11/25
0
0
Hadoop双namenode配置搭建(HA)

配置双namenode的目的就是为了防错,防止一个namenode挂掉数据丢失,具体原理本文不详细讲解,这里只说明具体的安装过程。 Hadoop HA的搭建是基于Zookeeper的,关于Zookeeper的搭建可以查看这...

Trigl
2017/02/14
0
0
[HDFS Manual] CH6 HDFS Federation

HDFS Federation HDFS Federation. 1 1 Background. 1 2.多个namenode/namespace. 1 2.1 关键好处... 1 3 联合配置... 1 3.1 配置... 1 3.2 格式化namenode. 1 3.3 更新老的release并且配置联......

Fanr
2018/03/30
0
0
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第二步)(4)

4.测试Hadoop分布式集群环境; 首先在通过Master节点格式化集群的文件系统: 输入“Y”完成格式化: 格式化完成以后,我们启动hadoop集群 我们在尝试一下停止Hadoop集群: 此时出现了“no da...

Spark亚太研究院
2014/09/03
475
0

没有更多内容

加载失败,请刷新页面

加载更多

redis+lua 实现分布式令牌桶,高并发限流

方案一、在提供给业务方的Controller层进行控制。 1、使用guava提供工具库里的RateLimiter类(内部采用令牌捅算法实现)进行限流 2、使用Java自带delayqueue的延迟队列实现(编码过程相对麻烦,...

stys35
17分钟前
13
0
socket编程之websocket实现

主要实现私聊和群聊两个功能,要在web端实现想微信QQ那样的即时通讯的功能,我们需要了解一下websocket。 websocket是一种可以双向通讯的长连接协议,http是获取完数据就关闭,websocket则可以...

php开源社区
24分钟前
28
0
这款Mac视频下载神器,轻松解决1000多个视频网站下载难题!

Mac视频下载工具哪款好用?号称Mac届经典的网页视频下载神器,支持 1000 多个流媒体网站的视频下载,包括YouTube,优酷,Bilibili,Vimeo等,,让你轻松解决视频下载难题! Downie 4 Mac版值...

mac小叮当
26分钟前
22
0
基于三维GIS技术的矢量地图动态LOD渲染方法

本文从地图操作和要素可见性入手分析地图简化的影响因素,并基于分析的结果设计相应的缓存结构以加速地图的渲染。研究GPU环境下梯形格网的高效LOD方法,探讨简化前后节点的重组和显存中EBO数...

ZTMAP
29分钟前
21
0
Docker安装MySQL&Redis

Docker安装MySQL 下载 mysql 镜像 docker pull mysql:5.7 启动容器 docker run -p 3306:3306 --name mysql \-v /mydata/mysql/log:/var/log/mysql \-v /mydata/mysql/data:/var/lib/mysq......

农夫三拳有点疼-_-
30分钟前
15
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部