文档章节

CDH(Hadoop)集群磁盘扩容

爱运动的小乌龟
 爱运动的小乌龟
发布于 2017/08/25 17:33
字数 260
阅读 115
收藏 0

1.在Linux本地挂在磁盘

(目前网络部在Linux本地上挂载磁盘,此过程大数据平台这边还没测通,后期测通补上此步骤操作。)

2.在磁盘挂载目录下创建文件夹“/dfs/dn”

mkdir -p /media/New/dfs/dn

 

3.对目录进行赋权限

chown -R hdfs:hadoop /media/New/dfs/dn

 

4.悬挂新磁盘到hdfs数据目录下

第一:在cloudera manager主页面上点击HDFS

 

第二:选择配置

第三:选择DataNode----->+----本地挂在磁盘的数据目录放到新框中”/media/New/dfs/dn”

 

第四:点击保存更改

第五:重启集群,使挂载的磁盘生效,注意集群重启过程中一定不要中止。

 

第六:测试新挂磁盘是否被HDFS识别使用

向hdfs写一部分数据,然后在Linux本地使用“df -lh”,查看悬挂的磁盘使用量是否有变化,如果被使用指标在增加,说明磁盘已经被hdfs识别并使用。

© 著作权归作者所有

共有 人打赏支持
爱运动的小乌龟
粉丝 2
博文 147
码字总数 41882
作品 0
朝阳
私信 提问
Hadoop集群部署实战(cdh发行版)

一、概要 由于工作需要,最近一段时间开始接触学习hadoop相关的东西,目前公司的实时任务和离线任务都跑在一个hadoop集群,离线任务的特点就是每天定时跑,任务跑完了资源就空闲了,为了合理...

navyaijm2012
2017/05/11
0
0
Hadoop 2.6.0 HA高可用集群配置详解

1 Hadoop HA架构详解 1.1 HDFS HA背景 HDFS集群中NameNode 存在单点故障(SPOF)。对于只有一个NameNode的集群,如果NameNode机器出现意外情况,将导致整个集群无法使用,直到NameNode 重新启...

不语者
2016/11/03
183
0
hbase高可用集群部署(cdh)

一、概要 本文记录hbase高可用集群部署过程,在部署hbase之前需要事先部署好hadoop集群,因为hbase的数据需要存放在hdfs上,hadoop集群的部署后续会有一篇文章记录,本文假设hadoop集群已经部...

navyaijm2012
2017/05/10
0
0
基于Cloudera Manager 5和CDH5(版本5.3.3)的Hadoop集群安装

一、Cloudera Manager/CDH5 1、关于cloudera manager和CDH是什么,这里不做详细介绍了。有官网和百科介绍。 附上官网地址:cloudera manager 2、官网的安装指南 官方文档提供了三种安装方式:...

Mr_陈
2015/04/29
0
0
hadoop edits 文件损坏修复办法

前段时间公司hadoop集群宕机,发现是namenode 磁盘满了。。清理出部分空间后,重启集群时,重启失败。 又发现集群Secondary namenode 服务也恰恰坏掉,导致所有的操作log持续写入edits.new 文...

幽芒
2014/10/21
0
2

没有更多内容

加载失败,请刷新页面

加载更多

结合lucene谈谈日期的压缩问题

说起日期值的压缩,一般容易想到的办法是将日期转化成long类型,然后再通过变长整形进行压缩,我算了一下按照毫秒来算最多占用5个字节(可以通过“谈谈变长整型”中的表查看),确实节省了部...

FAT_mt
55分钟前
0
0
导出私有函数与私有变量

在Go语言中, package中包含函数与变量通过identifier的首字母是否大写来决定它是否可以被其它package所访问。当一个函数或变量名称为小写字母时,默认是无法被其他package引用的. 有没有办法...

xtof
55分钟前
1
0
new Date() 在Safari下的 Invalid Date问题

问题复现 var timeStr = '2018-11-11 00:00:00';var time = new Date(timeStr);// error: Invalid Date... 在safari浏览器下,time为Invalid Date, 导致后面代码执行错误; 其他浏览器诸...

会写代码的husky
今天
2
0
0009-如何升级Cloudera Manager和CDH

1.文档编写目的 本文档讲述如何升级Cloudera Manager和CDH,通过本文档,您将学习到以下知识: 1.如何对Cloudera Manager进行停机升级 2.如何对CDH进行停机升级 3.如何在不影响集群作业的情况...

Hadoop实操
今天
1
0
vue2中引用 better-scroll的方法

文章主要介绍了vue2中引用better-scroll和使用 better-scroll的方法,使用时有三个要点及注意事项在文中给大家详细介绍 ,需要的朋友可以参考下 使用时有三个要点: 一:html部分 <div class...

前端攻城老湿
今天
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部