鼓捣了好几天hadoop2.2集群(关于节点删除+ssh免密码登陆)
博客专区 > _liucui_ 的博客 > 博客详情
鼓捣了好几天hadoop2.2集群(关于节点删除+ssh免密码登陆)
_liucui_ 发表于3年前
鼓捣了好几天hadoop2.2集群(关于节点删除+ssh免密码登陆)
  • 发表于 3年前
  • 阅读 35
  • 收藏 0
  • 点赞 0
  • 评论 1

腾讯云 十分钟定制你的第一个小程序>>>   

摘要: 关于节点删除+ssh免密码登陆。hadoop集群的问题总是很奇葩,最终还是归因于那些常见的问题,只是我了解的少。

1.节点删除

1)修改conf/hdfs-site.xml文件,excludes文件的目录。如下:

<property>
    <name>dfs.hosts.exclude</name>  
   <value>/home/hadoop/hadoop-2.2.0/etc/hadoop/excludes</value> 
    <description>Names a file that contains a list of hosts that are   
      not permitted to connect to the namenode.  The full pathname of the   
      file must be specified.  If the value is empty, no hosts are   
       excluded.
    </description>
</property>

2)在excludes文件中指定要下架的机器,如:

    slave1

3)刷新配置,执行如下命令:

bin/hadoop dfsadmin  -refreshNodes

4)查看状态

在命令行使用命令 : bin/hadoop dfsadmin -report
或者在浏览器查看:http://XXXXX:50070/dfshealth.jsp
出现如下状态,同时Blocks的数量也在减少。
Live Nodes     :    10 (Decommissioned: 0)    
Dead Nodes     :    0 (Decommissioned: 0)    
Decommissioning Nodes     :    2    
Number of Under-Replicated Blocks    :    106106

5)再次编辑excludes文件 
    一旦完成了机器下架,它们就可以从excludes文件移除了 
   登录要下架的机器,会发现DataNode进程没有了,但是TaskTracker依然存在,需要手工处理一下

6). 遇到的问题:
        (1)刚开始刷新配置,block数目不动。可能原因:安全模式
            bin/hadoop dfsadmin -safemode leave
       (2) block 数量不断减少,但后来数量就不动了。 可能原因:集群的免密码登陆可能有问题,检查一下。

3.附加:免密码登陆

http://www.cnblogs.com/jdksummer/articles/2521550.html
同时注意权限问题。
ssh配置成功后,启动hadoop节点出现Are you sure you want to continue connecting (yes/no)?

输入yes


共有 人打赏支持
粉丝 17
博文 113
码字总数 46697
评论 (1)
_liucui_
No RSA host key is known for slave9.hadoop and you have requested strict checking
这个问题出现的原因是我把sshd的配置文件改错了
×
_liucui_
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: