文档章节

动态上下线datanode节点及副本均衡机制

泡海椒
 泡海椒
发布于 2015/12/21 21:26
字数 451
阅读 332
收藏 3

考项目到新的服务器

启动datanode sbin/hadoop-daemon.sh start datanode

清掉tmp

本文主要从基础准备,添加DataNode和添加NodeManager三个部分详细说明在Hadoop2.6.0环境下,如何动态新增节点到集群中。

  • 基础准备

  • 在基础准备部分,主要是设置hadoop运行的系统环境

    • 修改系统hostname(通过hostname和/etc/sysconfig/network进行修改)

    • 修改hosts文件,将集群所有节点hosts配置进去(集群所有节点保持hosts文件统一)

    • 设置NameNode(两台HA均需要)到DataNode的免密码登录(ssh-copy-id命令实现,可以免去cp *.pub文件后的权限修改)

    • 修改主节点slave文件,添加新增节点的ip信息(集群重启时使用)

    • 将hadoop的配置文件scp到新的节点上

  • 添加DataNode

  • 对于新添加的DataNode节点,需要启动datanode进程,从而将其添加入集群

    • 在新增的节点上,运行sbin/hadoop-daemon.sh start datanode即可

    • 然后在namenode通过hdfs dfsadmin -report查看集群情况

    • 最后还需要对hdfs负载设置均衡,因为默认的数据传输带宽比较低,可以设置为64M,即hdfs dfsadmin -setBalancerBandwidth 67108864即可

    • 默认balancer的threshold为10%,即各个节点与集群总的存储使用率相差不超过10%,我们可将其设置为5%

    • 然后启动Balancer,sbin/start-balancer.sh -threshold 5,等待集群自均衡完成即可

  • 添加Nodemanager

  • 由于Hadoop 2.X引入了YARN框架,所以对于每个计算节点都可以通过NodeManager进行管理,同理启动NodeManager进程后,即可将其加入集群

    • 在新增节点,运行sbin/yarn-daemon.sh start nodemanager即可

    • 在ResourceManager,通过yarn node -list查看集群情况


© 著作权归作者所有

泡海椒
粉丝 11
博文 282
码字总数 288344
作品 0
成都
程序员
私信 提问
集群间动态扩展和删除hdfs的datanode和hbase的regionserver

如果你既要增加节点,又要删除节点呢, 我推荐的顺序是:新增datanode,新增regionserver,停掉regionserver ,停掉datanode。 如果你单独的增加或者移出呢,顺序就是上面拆开的就行啦。 如果...

数据架构师
2018/12/21
0
0
Hadoop之分布式集群中节点的动态添加与下架(笔记13)

开篇:在本笔记系列的第一篇中,我们介绍了如何搭建伪分布与分布模式的Hadoop集群。现在,我们来了解一下在一个hadoop分布式集群中,如何动态(不关机且正在运行的情况下)地添加一个Hadoop节...

xiangxizhishi
2017/07/19
0
0
一套很专业的监控方案:HDFS监控落地背后的思考

基于京东云的实战经验,我们今天来聊聊HDFS相关的监控。 Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。 HDFS能提供高吞吐量的数据访问,非...

应用研发部
02/20
0
0
大数据教程(6.7)第六章问题总结

本篇博主将介绍大家中学习前面的hadoop文章中可能出现的问题。 首先,可能涉及的命令: 一、运行mr程序出错 二、初始化工作目录结构 hdfs namenode -format 只是初始化了namenode的工作目录,...

em_aaron
2018/11/06
22
0
Hadoop分布式文件系统HDFS架构

1、HDFS介绍 1.1、HDFS是什么? HDFS(Hadoop Distributed File System)是Hadoop项目的核心子项目,是分布式计算中数据存储管理的基础,是基于流数据模式访问和处理超大文件的需求而开发的,...

巴利奇
2018/10/30
0
0

没有更多内容

加载失败,请刷新页面

加载更多

最简单的获取相机拍照的图片

  import android.content.Intent;import android.graphics.Bitmap;import android.os.Bundle;import android.os.Environment;import android.provider.MediaStore;import andr......

MrLins
今天
5
0
说好不哭!数据可视化深度干货,前端开发下一个涨薪点在这里~

随着互联网在各行各业的影响不断深入,数据规模越来越大,各企业也越来越重视数据的价值。作为一家专业的数据智能公司,个推从消息推送服务起家,经过多年的持续耕耘,积累沉淀了海量数据,在...

个推
今天
8
0
第三方支付-返回与回调注意事项

不管是支付宝,微信,还是其它第三方支付,第四方支付,支付机构服务商只要涉及到钱的交易都要进行如下校验,全部成功了才视为成功订单 1.http请求是否成功 2.校验商户号 3.校验订单号及状态...

Shingfi
今天
4
0
简述Java内存分配和回收策略以及Minor GC 和 Major GC(Full GC)

内存分配: 1. 栈区:栈可分为Java虚拟机和本地方法栈 2. 堆区:堆被所有线程共享,在虚拟机启动时创建,是唯一的目的是存放对象实例,是gc的主要区域。通常可分为两个区块年轻代和年老代。更...

DustinChan
今天
6
0
Excel插入批注:可在批注插入文字、形状、图片

1.批注一直显示:审阅选项卡-------->勾选显示批注选项: 2.插入批注快捷键:Shift+F2 组合键 3.在批注中插入图片:鼠标右键点击批注框的小圆点【重点不可以在批注文本框内点击】----->调出批...

东方墨天
今天
6
1

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部