文档章节

鼓捣了好几天hadoop2.2集群(关于节点删除+ssh免密码登陆)

_liucui_
 _liucui_
发布于 2015/03/23 13:00
字数 410
阅读 106
收藏 0

钉钉、微博极速扩容黑科技,点击观看阿里云弹性计算年度发布会!>>>

1.节点删除

1)修改conf/hdfs-site.xml文件,excludes文件的目录。如下:

<property>
    <name>dfs.hosts.exclude</name>  
   <value>/home/hadoop/hadoop-2.2.0/etc/hadoop/excludes</value> 
    <description>Names a file that contains a list of hosts that are   
      not permitted to connect to the namenode.  The full pathname of the   
      file must be specified.  If the value is empty, no hosts are   
       excluded.
    </description>
</property>

2)在excludes文件中指定要下架的机器,如:

    slave1

3)刷新配置,执行如下命令:

bin/hadoop dfsadmin  -refreshNodes

4)查看状态

在命令行使用命令 : bin/hadoop dfsadmin -report
或者在浏览器查看:http://XXXXX:50070/dfshealth.jsp
出现如下状态,同时Blocks的数量也在减少。
Live Nodes     :    10 (Decommissioned: 0)    
Dead Nodes     :    0 (Decommissioned: 0)    
Decommissioning Nodes     :    2    
Number of Under-Replicated Blocks    :    106106

5)再次编辑excludes文件 
    一旦完成了机器下架,它们就可以从excludes文件移除了 
   登录要下架的机器,会发现DataNode进程没有了,但是TaskTracker依然存在,需要手工处理一下

6). 遇到的问题:
        (1)刚开始刷新配置,block数目不动。可能原因:安全模式
            bin/hadoop dfsadmin -safemode leave
       (2) block 数量不断减少,但后来数量就不动了。 可能原因:集群的免密码登陆可能有问题,检查一下。

3.附加:免密码登陆

http://www.cnblogs.com/jdksummer/articles/2521550.html
同时注意权限问题。
ssh配置成功后,启动hadoop节点出现Are you sure you want to continue connecting (yes/no)?

输入yes


_liucui_
粉丝 16
博文 133
码字总数 52730
作品 0
秦皇岛
私信 提问
加载中
此博客有 1 条评论,请先登录后再查看。
hadoop2.2 高可用的搭建

1.修改Linux主机名 2.修改IP 3.修改主机名和IP的映射关系 /etc/hosts里面要配置的是内网IP地址和主机名的映射关系 4.关闭防火墙 5.ssh免登陆 6.安装JDK,配置环境变量等 集群规划: 192.168....

touchliug
2014/08/18
1
0
Hadoop2.2_集群搭建

Hadoop集群搭建 目录结构 1. Centos安装之后基本配置 2. 安装和配置JDK 3. 集群网络环境介绍及快速部署 4. ssh免密码登录 5. 规划系统目录. 6. Hadoop集群配置 7. Hadoop集群启动 1. Centos安...

一枚Sir
2014/08/07
64
0
hadoop2集群环境搭建

第一部分 Hadoop 2.2 下载 Hadoop我们从Apache官方网站直接下载最新版本Hadoop2.2。官方目前是提供了linux32位系统可执行文件,所以如果需要在64位系统上部署则需要单独下载src 源码自行编译...

如风达
2016/02/23
17
0
【Linux 】 ssh 免秘钥登陆

需求 IP1:1.1.1.1 账户kg IP2:1.1.1.2 账户kg 想实现 IP1 免秘钥登陆 IP2 步骤如下 登陆到1.1 然后cd ~/.ssh, shell 中运行 ssh-keygen -t rsa 命令,生成密钥文件 一直按回车键,会出现如...

SoWhat1412
04/19
2
0
Hadoop2.2集群 ssh免密码登陆

我搭建的7台机器,master,slaves1,node1,node2,node3,node4,node5 用户名是:hadoop,系统用的是centos6.5 64位 1、在master和各节点下的 /home/hadoop/.ssh 文件下执行了 ssh-keygen...

Jacos
2014/04/11
119
0

没有更多内容

加载失败,请刷新页面

加载更多

18行Python代码抢京东神券

点击上方『早起Python』关注 回复送书参与赠书活动! 一、背景介绍 我们经常能看到京东上有满200减100之类的大额神券,但是当自己激动的等在电脑旁,手拿鼠标、眼盯屏幕,等着倒计时慢慢临近...

早起Python
05/31
0
0
关于SMP

欢迎关注公众号 VxWorks567。如转载,请标出处! 多核在嵌入式实时系统里应用的越来越多,而VxWorks从6.6开始支持多核,到6.8就算支持的不错了。风河提供了两种多核技术:Symmetric multipr...

taishan3721
2019/10/27
0
0
Unity安卓共享纹理

前置知识:安卓集成Unity开发示例 本文的目的是实现以下的流程: Android/iOS native app 操作摄像头 -> 获取视频流数据 -> 人脸检测或美颜 -> 传输给 Unity 渲染 -> Unity做出更多的效果(滤...

osc_4b2ephd0
13分钟前
7
0
计算机网络中这些高频考题,你还在死记硬背吗?(一)

原文链接:原文来自个人公众号—C you again 对于IT从业者来说,计算机网络是一门必修课,也是一块硬骨头,不论是你是在工作中还是面试时,都需要掌握一些网络技术。从本期开始,小编对计算机...

osc_sb30h1xb
14分钟前
4
0
30岁+程序员职场攻略:找到自己的“职业锚”乘风破浪

摘要:何时都不算晚,只要你愿意开始!年龄,不应该是限制你未来可能性的理由。不要给自己贴标签,像姐姐们一样在事业场、生活场上乘风破浪! 都说三个女人一台戏,那30个年龄30+的女明星,聚...

华为云开发者社区
15分钟前
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部