文档章节

hadoop集群部署注意问题

蓝狐乐队
 蓝狐乐队
发布于 2014/02/20 11:09
字数 279
阅读 34
收藏 0

1、namenode 或datanode 被迫升级。

1)降级namenode,缺点:需要停止服务,不确定性因素太多(降级可能会导致所有数据丢失),测试周期长且复杂;优点:只要操作一个节点

2)升级所有的datanode,缺点:需要操作集群所有机器(也可以只升级单台机器);优点:测试简单,风险小

很明显,第二种方案是优选方案,测试过程如下:

1)找一台采集服务器,上面已经部署了hadoop客户端,启动datanode,成功,日志信息显示版本为:203.1

2)删除build目录,再次启动datanode,失败

3)恢复build目录,再次启动datanode,成功

4)将build目录拷贝到出错的datanode上,修改hdfs-site.xml配置,将data目录修改为新建目录,启动datanode,成功

5)将data目录修改为最原始的配置,启动datanode,成功

第二种方案测试成功,在namenode上运行fsck命令,正常输出。

于是升级整个集群,到目前为止,集群运行正常。

本文转载自:

下一篇: hadoop错误总结
蓝狐乐队
粉丝 107
博文 325
码字总数 94335
作品 0
昌平
程序员
私信 提问
Hadoop安装备忘

参考刘鹏的《实战Hadoop》一书,按照hadoop 0.20.2几个注意的地方。 第一,首先理解Hadoop中的几个后台进程。 NameNode,Secondary NameNode,JobTracker,TaskTracker,DataNode这几个角色。 ...

cnn237111
2015/04/25
0
0
Spark笔记整理(三):Spark WC开发与应用部署

[TOC] Spark WordCount开发 创建的是maven工程,使用的依赖如下: spark wc之Java版本 本地执行,输出结果如下: ###spark wc之Java lambda版本 本地执行,输出结果如下: spark wc之scala版...

xpleaf
2018/04/25
0
0
部署Spark2.2集群(on Yarn模式)

版权声明:欢迎转载,请注明出处,谢谢。 https://blog.csdn.net/boling_cavalry/article/details/86795338 机器规划 本次实战用到了三台CentOS7的机器,身份信息如下所示: 要注意的地方: ...

博陵精骑
2019/02/09
0
0
Hadoop 生态圈介绍

简介 Hadoop 是一个能够处理海量数据的分布式系统基础软件框架,理论上能够通过增加计算节点以处理无限增长的数据,由java写成。其作者是 Doug Cutting,得益于谷歌的Map/Reduce计算模型和G...

bochs
2016/11/17
76
0
Hadoop-2.6.0集群搭建(多机环境HDFS HA+YARN HA,推荐)

搭建 HDFS HA 和 ResourceManager HA 集群 下载Hadoop: http://hadoop.apache.org/releases.html 集群规划 HDFS HA说明 Hadoop 2.x中通常由两个NameNode组成,一个处于Active状态,另一个处...

翻船全靠浪
2016/04/25
66
0

没有更多内容

加载失败,请刷新页面

加载更多

Java中的原生关键字是什么?

在玩这个谜题 (这是Java关键字琐事游戏)时,我遇到了native关键字。 Java中的native关键字用于什么? #1楼 实现本机代码的函数被声明为本机。 Java本机接口(JNI)是一个编程框架,使在Jav...

技术盛宴
今天
54
0
博通与苹果达成150亿美元协议,覆盖未来3年苹果产品

  据外媒报道,芯片供应商博通(Broadcom)宣布已与苹果公司签署了一份协议,为其提供“高性能的无线组件和模块”,博通表示,这些芯片将在未来 3 年半的时间内用于自 2020 年 1 月份以后发...

水果黄瓜
今天
95
0
《算法》笔记 17 - 数据压缩

读写二进制数据 基因组数据的压缩 游程编码 位图 霍夫曼压缩 前缀码和单词查找树 构造前缀码的单词查找树 写入和读取单词查找树 使用前缀码压缩 使用前缀码展开 LZW压缩 LZW的单词查找树 LZ...

zhixin9001
今天
55
0
#技术分享# 再论DDD之【实体】建模

2020年春节第一天,早早醒来,出去晨跑一下,目前武汉以及周边的疫情处于红色报警状态,今年春节宅家是最安全的做法。闲暇之余,还需要探索技术,跑步中忽然想到了【忒修斯之船】的小故事,感...

边缘行者
今天
88
0
工作自由--2020年开篇,开启一个项目:工作自由 worksolo.cn

新年伊始,我突发奇想,也是很多人敢想而不敢做的事情,下面我以一个多年软件开发从业者的角度去思考,去设计这个项目,当然希望看到这篇文章的你可以给我更多思路: 项目名称:工作自由 域名...

_aron_
今天
51
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部