文档章节

鼓捣了好几天hadoop2.2集群(关于节点删除+ssh免密码登陆)

_liucui_
 _liucui_
发布于 2015/03/23 13:00
字数 410
阅读 45
收藏 0

1.节点删除

1)修改conf/hdfs-site.xml文件,excludes文件的目录。如下:

<property>
    <name>dfs.hosts.exclude</name>  
   <value>/home/hadoop/hadoop-2.2.0/etc/hadoop/excludes</value> 
    <description>Names a file that contains a list of hosts that are   
      not permitted to connect to the namenode.  The full pathname of the   
      file must be specified.  If the value is empty, no hosts are   
       excluded.
    </description>
</property>

2)在excludes文件中指定要下架的机器,如:

    slave1

3)刷新配置,执行如下命令:

bin/hadoop dfsadmin  -refreshNodes

4)查看状态

在命令行使用命令 : bin/hadoop dfsadmin -report
或者在浏览器查看:http://XXXXX:50070/dfshealth.jsp
出现如下状态,同时Blocks的数量也在减少。
Live Nodes     :    10 (Decommissioned: 0)    
Dead Nodes     :    0 (Decommissioned: 0)    
Decommissioning Nodes     :    2    
Number of Under-Replicated Blocks    :    106106

5)再次编辑excludes文件 
    一旦完成了机器下架,它们就可以从excludes文件移除了 
   登录要下架的机器,会发现DataNode进程没有了,但是TaskTracker依然存在,需要手工处理一下

6). 遇到的问题:
        (1)刚开始刷新配置,block数目不动。可能原因:安全模式
            bin/hadoop dfsadmin -safemode leave
       (2) block 数量不断减少,但后来数量就不动了。 可能原因:集群的免密码登陆可能有问题,检查一下。

3.附加:免密码登陆

http://www.cnblogs.com/jdksummer/articles/2521550.html
同时注意权限问题。
ssh配置成功后,启动hadoop节点出现Are you sure you want to continue connecting (yes/no)?

输入yes


© 著作权归作者所有

共有 人打赏支持
_liucui_
粉丝 16
博文 135
码字总数 53719
作品 0
秦皇岛
私信 提问
加载中

评论(1)

_liucui_
_liucui_
No RSA host key is known for slave9.hadoop and you have requested strict checking
这个问题出现的原因是我把sshd的配置文件改错了
Hadoop2.2集群 ssh免密码登陆

我搭建的7台机器,master,slaves1,node1,node2,node3,node4,node5 用户名是:hadoop,系统用的是centos6.5 64位 1、在master和各节点下的 /home/hadoop/.ssh 文件下执行了 ssh-keygen...

Jacos
2014/04/11
0
0
(10)Zookeeper 3.4.9 集群部署

1.引言 在前面的博客中介绍了的伪分布部署,在本篇博客中主要介绍一下的集群部署,在本篇博客中使用三台机器部署集群,如下表所示: 本博客的安装环境为: 的版本为: 的安装目录为: 的版本...

LoveCarpenter
2017/12/14
0
0
(9)Hadoop 2.6.1 集群部署——未配置HA

1. 引言 在前面的博客中,我曾经介绍了的伪分布配置,但是在实际工作中最常见的是集群部署,在本篇博客中就主要介绍一下的集群部署(未配置),在本篇博客中使用五台新安装的机器,从零部署。...

LoveCarpenter
2017/12/14
0
0
Hadoop2.6.1集群部署之手工切换HA

1. 引言 在生产环境中NameNode的高可用是非常重要的,一旦NameNode宕机,那么整合集群就不能用了,在本篇博客中就主要介绍一下Hadoop2.6.1的HA部署(手动切换),在本篇博客中博主使用五台干...

Liri
2017/12/16
0
0
(11)Hadoop 2.6.1 集群部署---手工切换HA

1. 引言 在生产环境中的高可用是非常重要的,一旦宕机,那么整合集群就不能用了,在本篇博客中就主要介绍一下的部署(手动切换),在本篇博客中博主使用五台干净的机器从零开始搭建集群环境,...

LoveCarpenter
2017/12/15
0
0

没有更多内容

加载失败,请刷新页面

加载更多

centos7重置密码、单用户模式、救援模式、ls命令、chmod命令

在工作当中如果我们错误的配置了文件使服务器不能正常启动或者忘记密码不能登录系统,如何解决这些问题呢?重装系统是可以实现的,但是往往不能轻易重装系统的,下面用忘记密码作为例子讲解如...

李超小牛子
今天
3
0
Python如何开发桌面应用程序?Python基础教程,第十三讲,图形界面

当使用桌面应用程序的时候,有没有那么一瞬间,想学习一下桌面应用程序开发?行业内专业的桌面应用程序开发一般是C++,C#来做,Java开发的也有,但是比较少。本节课会介绍Python的GUI(图形用...

程序员补给栈
今天
6
0
kafka在的使用

一、基本概念 介绍 Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能,但具有自己独特的设计。 这个独特的设计是什么样的呢? 首先让我们看几个基本的消息系统...

狼王黄师傅
今天
3
0
Android JNI总结

0x01 JNI介绍 JNI是Java Native Interface的缩写,JNI不是Android专有的东西,它是从Java继承而来,但是在Android中,JNI的作用和重要性大大增强。 JNI在Android中起着连接Java和C/C++层的作...

天王盖地虎626
昨天
3
0
大数据教程(11.8)Hive1.2.2简介&初体验

上一篇文章分析了Hive1.2.2的安装,本节博主将分享Hive的体验&Hive服务端和客户端的使用方法。 一、Hive与hadoop直接的关系 Hive利用HDFS存储数据,利用MapReduce查询数据。 二、Hive与传统数...

em_aaron
昨天
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部