文档章节

鼓捣了好几天hadoop2.2集群(关于节点删除+ssh免密码登陆)

_liucui_
 _liucui_
发布于 2015/03/23 13:00
字数 410
阅读 43
收藏 0
点赞 0
评论 1

1.节点删除

1)修改conf/hdfs-site.xml文件,excludes文件的目录。如下:

<property>
    <name>dfs.hosts.exclude</name>  
   <value>/home/hadoop/hadoop-2.2.0/etc/hadoop/excludes</value> 
    <description>Names a file that contains a list of hosts that are   
      not permitted to connect to the namenode.  The full pathname of the   
      file must be specified.  If the value is empty, no hosts are   
       excluded.
    </description>
</property>

2)在excludes文件中指定要下架的机器,如:

    slave1

3)刷新配置,执行如下命令:

bin/hadoop dfsadmin  -refreshNodes

4)查看状态

在命令行使用命令 : bin/hadoop dfsadmin -report
或者在浏览器查看:http://XXXXX:50070/dfshealth.jsp
出现如下状态,同时Blocks的数量也在减少。
Live Nodes     :    10 (Decommissioned: 0)    
Dead Nodes     :    0 (Decommissioned: 0)    
Decommissioning Nodes     :    2    
Number of Under-Replicated Blocks    :    106106

5)再次编辑excludes文件 
    一旦完成了机器下架,它们就可以从excludes文件移除了 
   登录要下架的机器,会发现DataNode进程没有了,但是TaskTracker依然存在,需要手工处理一下

6). 遇到的问题:
        (1)刚开始刷新配置,block数目不动。可能原因:安全模式
            bin/hadoop dfsadmin -safemode leave
       (2) block 数量不断减少,但后来数量就不动了。 可能原因:集群的免密码登陆可能有问题,检查一下。

3.附加:免密码登陆

http://www.cnblogs.com/jdksummer/articles/2521550.html
同时注意权限问题。
ssh配置成功后,启动hadoop节点出现Are you sure you want to continue connecting (yes/no)?

输入yes


© 著作权归作者所有

共有 人打赏支持
_liucui_
粉丝 16
博文 118
码字总数 47334
作品 0
秦皇岛
加载中

评论(1)

_liucui_
_liucui_
No RSA host key is known for slave9.hadoop and you have requested strict checking
这个问题出现的原因是我把sshd的配置文件改错了
(10)Zookeeper 3.4.9 集群部署

1.引言 在前面的博客中介绍了的伪分布部署,在本篇博客中主要介绍一下的集群部署,在本篇博客中使用三台机器部署集群,如下表所示: 本博客的安装环境为: 的版本为: 的安装目录为: 的版本...

LoveCarpenter
2017/12/14
0
0
Hadoop2.2集群 ssh免密码登陆

我搭建的7台机器,master,slaves1,node1,node2,node3,node4,node5 用户名是:hadoop,系统用的是centos6.5 64位 1、在master和各节点下的 /home/hadoop/.ssh 文件下执行了 ssh-keygen...

Jacos
2014/04/11
0
0
(9)Hadoop 2.6.1 集群部署——未配置HA

1. 引言 在前面的博客中,我曾经介绍了的伪分布配置,但是在实际工作中最常见的是集群部署,在本篇博客中就主要介绍一下的集群部署(未配置),在本篇博客中使用五台新安装的机器,从零部署。...

LoveCarpenter
2017/12/14
0
0
Hadoop2.6.1集群部署之手工切换HA

1. 引言 在生产环境中NameNode的高可用是非常重要的,一旦NameNode宕机,那么整合集群就不能用了,在本篇博客中就主要介绍一下Hadoop2.6.1的HA部署(手动切换),在本篇博客中博主使用五台干...

Liri
2017/12/16
0
0
(11)Hadoop 2.6.1 集群部署---手工切换HA

1. 引言 在生产环境中的高可用是非常重要的,一旦宕机,那么整合集群就不能用了,在本篇博客中就主要介绍一下的部署(手动切换),在本篇博客中博主使用五台干净的机器从零开始搭建集群环境,...

LoveCarpenter
2017/12/15
0
0
Hadoop 2.2.0集群搭建

一、环境说明 1、虚拟机平台:VMware10 2、Linux版本:ubuntu-12.04.3-desktop-i386 3、JDK:jdk1.7.051 4、Hadoop版本:2.2.0 5、集群节点:3个,分别是hadoopMaster,hadoopSlave1,hadoo...

Zero零_度
2015/09/07
86
0
基于Hadoop1.2.1完全分布式集群的部署

一、准备工作 同一个局域网中的三台Linux虚拟机,发行版本均使用64位CentOS6.3,主机是 Windows 10 64位操作系统;通过 vmware workstation 实现三台虚机,这样就形成了一个以物理机为DNS服务...

灯下黑鬼吹灯
2016/11/25
97
0
开启SUSE Linux的SSH密码登陆

开启SUSE Linux的SSH密码登陆 [日期:2017-10-11] 来源:Linux社区 作者:neverinit [字体:大 中 小] 一般来说,刚安装好的SUSE Linux系统默认是可以使用ssh2登陆的,但是不能使用ssh密码登...

rootliu
05/09
0
0
正式生产环境下hadoop集群的DNS+NFS+ssh免密码登陆配置

环境虚拟机centos6.5 主机名h1 IP 192.168.137.11 作为DNS FNS的服务器 主机名h2 IP 192.168.137.12 主机名h3 IP 192.168.137.13 建立DNS(为了取代集群修改hosts带来的大量重复工作) 1.安装...

weir2008
2014/06/07
0
1
hadoop-2.6.0常用命令记录

默认命令执行路径为hadoop主目录 查看hdfs目录 bin/hadoop dfs -ls / 上传文件至hdfs bin/hadoop dfs -put 文件路径 hdfs系统路径,如:bin/hadoop dfs -put ../input /put 下载文件 bin/ha...

尚浩宇
2015/05/22
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

SmartyGit安装及拉取rf代码

SmartyGit安装及拉取rf代码 一:生成ssh keys 下载安装包:Git Bash(Git-1.8.3-preview20130601.exe) 安装完成后打开Git Bash,安装流程如下: 在如下图位置找到Git Bash,运行Git Bash在其命...

舒文joven
10分钟前
0
0
Duang,HUAWEI DevEco IDE全面升级啦

想感受全新UI带来的视觉及交互体验、 HiKey970开发板调测、 HiAI API推荐和收藏、 深度AI模型分析等新功能, 体验高清晰度和流畅度的远程AI真机调测吗? 全新的UI设计 采用最优秀的视觉及交互...

华为终端开放实验室
13分钟前
0
0
阻止事件冒泡,阻止默认事件

1.event.stopPropagation()方法 这是阻止事件的冒泡方法,不让事件向documen上蔓延,但是默认事件任然会执行,当你掉用这个方法的时候,如果点击一个连接,这个连接仍然会被打开, 2.event....

闫亚亚
15分钟前
0
0
网络监控工具类

package com.guorentong.learn.organ.utils;import android.app.Activity;import android.content.Context;import android.content.Intent;import android.net.ConnectivityManage......

王先森oO
15分钟前
0
0
命令

sudo nginx -s reload 重启nginx sudo lsof -i -P | grep -i "listen" 查看端口占用

那个猴子
19分钟前
0
0
用scrapy-redis爬去新浪-以及把数据存储到

需求:爬取新浪网导航页(http://news.sina.com.cn/guide/)所有下所有大类、小类、小类里的子链接,以及子链接页面的新闻内容。 准备工作: a.安装redis(windows或者linux) b.安装Redis Des...

丁典
19分钟前
0
0
PHP常用函数篇

1.为什么要使用函数? 除了内建的PHP函数,我们可以创建我们自己的函数。 函数是可以在程序中重复使用的语句块。 使代码逻辑更清晰 避免过多的全局变量 封装后避免相同逻辑重复代码,只需调用...

天地有涯风有信_大海无量不见人
20分钟前
0
0
对List分组

在日常工作中会遇到这样的情景,我们需要对List按照List中对象的一个值进行分组。比如一个Human的List,我们要根据性别分组,传统的方法是做双层循环,逐个对比,今天我要介绍一种详单简单的...

珂jack
22分钟前
0
0
分析jquery ajax jsonpCallback回调函数名包含点号报错问题

现象 项目中涉及到跨域请求,采用jquery ajax jsonp来实现,但是遇到一个奇怪问题,在设置回调函数名称时,若包含点号,如“Callback.Success”,那么执行完成后,其error回调函数始终会被触...

iwaller
25分钟前
0
0
【Graphql实践】使用 Apollo(iOS) 访问 Github 的 Graphql API

最近在协助调研 Apollo 生成的代码是否有可能跨 Query 共享模型的问题,虽然初步结论是不能,并不是预期的结果,但是在调研过程中积累的一些经验,有必要记录下。如果你也对 Graphql 感兴趣,...

ios122
25分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部