文档章节

hadoop-0.20.2-cdh3u5版本从集群中移除一个节点

月下独酌100
 月下独酌100
发布于 2014/06/17 22:03
字数 453
阅读 27
收藏 0


1.首先检查整个集群的Average block replication,如果大于2,那即使直接拔出一个节点也不会丢失数据

hadoop fsck / 检查集群的文件系统状况

可以手动设置文件的冗余倍数,为了安全备份,可对关键数据hadoop fs -setrep -w 3 -R <path>


2.给下面两个文件增加配置,在excludes中填写要解任的节点名

mapred-site.xml

<property>

  <name>mapred.hosts</name>

  <value></value>

  <description>Names a file that contains the list of nodes that may

  connect to the jobtracker.  If the value is empty, all hosts are

  permitted.</description>

</property>


<property>

  <name>mapred.hosts.exclude</name>

  <value>HADOOP_HOME/conf/excludes</value>

  <description>Names a file that contains the list of hosts that

  should be excluded by the jobtracker.  If the value is empty, no

  hosts are excluded.</description>

</property>


hdfs-site.xml

<property>

  <name>dfs.hosts</name>

  <value></value>

  <description>Names a file that contains a list of hosts that are

  permitted to connect to the namenode. The full pathname of the file

  must be specified.  If the value is empty, all hosts are

  permitted.</description>

</property>


<property>

  <name>dfs.hosts.exclude</name>

  <value>HADOOP_HOME/conf/excludes</value>

  <description>Names a file that contains a list of hosts that are

  not permitted to connect to the namenode.  The full pathname of the

  file must be specified.  If the value is empty, no hosts are

  excluded.</description>

</property> 


excludes 文件里面配置机器的hostname即可。


run on namenode:   hadoop dfsadmin -refreshNodes  

run on jobtracker:   hadoop mradmin -refreshNodes 

“hadoop dfsadmin -refreshNodes”会触发Decommission过程,在Decommission过程,集群会将Decommission节点上的数据冗余到其他几点上,


Decommission is not instant since it requires replication of potentially a large number of blocks and we do not want the cluster to be overwhelmed with just this one job. 

The decommission progress can be monitored on the name-node Web UI. Until all blocks are replicated the node will be in "Decommission In Progress" state. 

When decommission is done the state will change to "Decommissioned". The nodes can be removed whenever decommission is finished.

The decommission process can be terminated at any time by editing the configuration or the exclude files and repeating the -refreshNodes command.


Decommission refer:

http://wiki.apache.org/hadoop/FAQ


cloudera cdh3u5 version refer:

http://blog.csdn.net/rzhzhz/article/details/7577352


© 著作权归作者所有

月下独酌100
粉丝 26
博文 220
码字总数 56475
作品 0
浦东
高级程序员
私信 提问
hadoop 配置示例

安装配置hadoop: 1 安装前的准备工作 本示例所演示的过程基于RHEL 5.8(32bit)平台,用到的应用程序如下所示。 JDK: jdk-7u5-linux-i586.rpm Hadoop:hadoop-0.20.2-cdh3u5.tar.gz 安全起见,...

蓝宫卫
2017/02/20
0
0
Windows上安装HADOOP单机伪分布式集群

1、准备HADOOP运行环境 下载解压并拷贝到Cygwin的用户主目录 http://archive.apache.org/dist/hadoop/core/hadoop-0.20.2/hadoop-0.20.2.tar.gz 1.x版本有BUG,参考: https://issues.apache.......

杨尚川
2015/04/08
1.4K
0
【Hadoop】- Hadoop1.x 完全分布式环境搭建

环境: 1台NameNode服务器,2台DataNode服务器 安装步骤 ①:配置/etc/hosts文件:实现集群内部的DNS解析,无需查询DNS服务器,当访问远程主机时首先查询hosts文件是否有配置,如果配置则直接...

ZeroneLove
2019/02/24
3
0
安装ZooKeeper(单机、伪集群、集群)

安装ZooKeeper(单机、伪集群、集群)博客分类: 大数据平台架构移动互联网 关键字:安装ZooKeeper(单机、伪集群、集群) 推荐学习列表: zookeeper jvm设置:http://www.th7.cn/Program/j...

qq_27264789
2018/04/17
0
0
hadoop多次格式化后,导致datanode启动不了

hadoop namenode -format 多次格式化后,datanode启动不了 0.20.2版本解决方式: 1、查看名称节点上(即在配置文件中配置的hadoop.tmp.dir参数路径)/usr/hadoop0.20.2/hadoop-huanghz/dfs/nam...

kongjun
2016/03/02
205
0

没有更多内容

加载失败,请刷新页面

加载更多

MBTI助你成功,让你更了解你自己

MBTI助你成功,让你更了解你自己 生活总是一个七日接着又一个七日,相信看过第七日的小伙伴,很熟悉这段开场白,人生是一个测试接着又一个测试,上学的时候测试,是为了证明你的智力,可谓从...

蛤蟆丸子
40分钟前
49
0
Android实现App版本自动更新

现在很多的App中都会有一个检查版本的功能。例如斗鱼TV App的设置界面下: 当我们点击检查更新的时候,就会向服务器发起版本检测的请求。一般的处理方式是:服务器返回的App版本与当前手机安...

shzwork
昨天
63
0
npm 发布webpack插件 webpack-html-cdn-plugin

初始化一个项目 npm init 切换到npm源 淘宝 npm config set registry https://registry.npm.taobao.org npm npm config set registry http://registry.npmjs.org 登录 npm login 登录状态......

阿豪boy
昨天
87
0
java基础(16)递归

一.说明 递归:方法内调用自己 public static void run1(){ //递归 run1(); } 二.入门: 三.执行流程: 四.无限循环:经常用 无限递归不要轻易使用,无限递归的终点是:栈内存溢出错误 五.递...

煌sir
昨天
63
0
REST接口设计规范总结

URI格式规范 URI中尽量使用连字符”-“代替下划线”_”的使用 URI中统一使用小写字母 URI中不要包含文件(脚本)的扩展名 URI命名规范 文档(Document)类型的资源用名词(短语)单数命名 集合(Co...

Treize
昨天
69
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部