文档章节

CDH(Hadoop)集群磁盘扩容

爱运动的小乌龟
 爱运动的小乌龟
发布于 2017/08/25 17:33
字数 260
阅读 88
收藏 0

1.在Linux本地挂在磁盘

(目前网络部在Linux本地上挂载磁盘,此过程大数据平台这边还没测通,后期测通补上此步骤操作。)

2.在磁盘挂载目录下创建文件夹“/dfs/dn”

mkdir -p /media/New/dfs/dn

 

3.对目录进行赋权限

chown -R hdfs:hadoop /media/New/dfs/dn

 

4.悬挂新磁盘到hdfs数据目录下

第一:在cloudera manager主页面上点击HDFS

 

第二:选择配置

第三:选择DataNode----->+----本地挂在磁盘的数据目录放到新框中”/media/New/dfs/dn”

 

第四:点击保存更改

第五:重启集群,使挂载的磁盘生效,注意集群重启过程中一定不要中止。

 

第六:测试新挂磁盘是否被HDFS识别使用

向hdfs写一部分数据,然后在Linux本地使用“df -lh”,查看悬挂的磁盘使用量是否有变化,如果被使用指标在增加,说明磁盘已经被hdfs识别并使用。

© 著作权归作者所有

共有 人打赏支持
爱运动的小乌龟
粉丝 2
博文 146
码字总数 41387
作品 0
朝阳
Hadoop集群部署实战(cdh发行版)

一、概要 由于工作需要,最近一段时间开始接触学习hadoop相关的东西,目前公司的实时任务和离线任务都跑在一个hadoop集群,离线任务的特点就是每天定时跑,任务跑完了资源就空闲了,为了合理...

navyaijm2012
2017/05/11
0
0
Hadoop 2.6.0 HA高可用集群配置详解

1 Hadoop HA架构详解 1.1 HDFS HA背景 HDFS集群中NameNode 存在单点故障(SPOF)。对于只有一个NameNode的集群,如果NameNode机器出现意外情况,将导致整个集群无法使用,直到NameNode 重新启...

不语者
2016/11/03
183
0
hbase高可用集群部署(cdh)

一、概要 本文记录hbase高可用集群部署过程,在部署hbase之前需要事先部署好hadoop集群,因为hbase的数据需要存放在hdfs上,hadoop集群的部署后续会有一篇文章记录,本文假设hadoop集群已经部...

navyaijm2012
2017/05/10
0
0
基于Cloudera Manager 5和CDH5(版本5.3.3)的Hadoop集群安装

一、Cloudera Manager/CDH5 1、关于cloudera manager和CDH是什么,这里不做详细介绍了。有官网和百科介绍。 附上官网地址:cloudera manager 2、官网的安装指南 官方文档提供了三种安装方式:...

Mr_陈
2015/04/29
0
0
hadoop edits 文件损坏修复办法

前段时间公司hadoop集群宕机,发现是namenode 磁盘满了。。清理出部分空间后,重启集群时,重启失败。 又发现集群Secondary namenode 服务也恰恰坏掉,导致所有的操作log持续写入edits.new 文...

幽芒
2014/10/21
0
2

没有更多内容

加载失败,请刷新页面

加载更多

职场老人谈:Linux学习分享

随着Linux系统慢慢渗透到生活的方方面面,对Linux的基本操作就越来越必要了。 我是一位软件测试工程师,初次接触Linux主要是因为需要配置Linux服务器。因为Linux系统是一套开源的操作系统,安...

linux-tao
19分钟前
1
0
Oracle chr() ascii()

函数简介 实用函数 chr() 和 ascii() chr() 函数将ASCII码转换为字符: ASCII码 –> 字符; ascii() 函数将字符转换为ASCII码: 字符 –> ASCII码; 在 Oracle 中 chr() 函数和 ascii() 是一对...

taadis
21分钟前
0
0
职场老人谈:Linux学习分享

随着Linux系统慢慢渗透到生活的方方面面,对Linux的基本操作就越来越必要了。 我是一位软件测试工程师,初次接触Linux主要是因为需要配置Linux服务器。因为Linux系统是一套开源的操作系统,安...

linuxprobe16
30分钟前
0
0
Confluence 6 Windows 中以服务方式自动重启的原因

针对长时间使用的 Confluence,我们推荐你配置 Confluence 自动随操作系统重启而启动。针对一些 Windows 的服务器,这意味着需要让 Confluence 以服务的方式运行。 有下面 2 种方式来以服务的...

honeymose
今天
3
0
day93-20180920-英语流利阅读-待学习

时尚之觞:外表光鲜靓丽,其实穷得要命 Lala 2018-09-20 1.今日导读 讲到时尚界,我们脑海里浮现的可能都是模特和设计师光鲜靓丽、从容潇洒的模样。可是,最近在法国出版的一本书却颠覆了我们...

飞鱼说编程
今天
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部