文档章节

CDH(Hadoop)集群磁盘扩容

爱运动的小乌龟
 爱运动的小乌龟
发布于 2017/08/25 17:33
字数 260
阅读 142
收藏 0

1.在Linux本地挂在磁盘

(目前网络部在Linux本地上挂载磁盘,此过程大数据平台这边还没测通,后期测通补上此步骤操作。)

2.在磁盘挂载目录下创建文件夹“/dfs/dn”

mkdir -p /media/New/dfs/dn

 

3.对目录进行赋权限

chown -R hdfs:hadoop /media/New/dfs/dn

 

4.悬挂新磁盘到hdfs数据目录下

第一:在cloudera manager主页面上点击HDFS

 

第二:选择配置

第三:选择DataNode----->+----本地挂在磁盘的数据目录放到新框中”/media/New/dfs/dn”

 

第四:点击保存更改

第五:重启集群,使挂载的磁盘生效,注意集群重启过程中一定不要中止。

 

第六:测试新挂磁盘是否被HDFS识别使用

向hdfs写一部分数据,然后在Linux本地使用“df -lh”,查看悬挂的磁盘使用量是否有变化,如果被使用指标在增加,说明磁盘已经被hdfs识别并使用。

© 著作权归作者所有

共有 人打赏支持
爱运动的小乌龟
粉丝 2
博文 147
码字总数 41882
作品 0
朝阳
私信 提问
Hadoop集群部署实战(cdh发行版)

一、概要 由于工作需要,最近一段时间开始接触学习hadoop相关的东西,目前公司的实时任务和离线任务都跑在一个hadoop集群,离线任务的特点就是每天定时跑,任务跑完了资源就空闲了,为了合理...

navyaijm2012
2017/05/11
0
0
Hadoop 2.6.0 HA高可用集群配置详解

1 Hadoop HA架构详解 1.1 HDFS HA背景 HDFS集群中NameNode 存在单点故障(SPOF)。对于只有一个NameNode的集群,如果NameNode机器出现意外情况,将导致整个集群无法使用,直到NameNode 重新启...

不语者
2016/11/03
183
0
hbase高可用集群部署(cdh)

一、概要 本文记录hbase高可用集群部署过程,在部署hbase之前需要事先部署好hadoop集群,因为hbase的数据需要存放在hdfs上,hadoop集群的部署后续会有一篇文章记录,本文假设hadoop集群已经部...

navyaijm2012
2017/05/10
0
0
CDH5 Hadoop如何支持读写OSS

CDH和CM(Cloudera Manager) CDH (Cloudera’s Distribution, including Apache Hadoop)是众多Hadoop发行版本中的一种,由Cloudera维护,目前有不少用户使用这个发行版本。CM是管理集群的工具...

冷月_wjh
2018/10/29
0
0
基于Cloudera Manager 5和CDH5(版本5.3.3)的Hadoop集群安装

一、Cloudera Manager/CDH5 1、关于cloudera manager和CDH是什么,这里不做详细介绍了。有官网和百科介绍。 附上官网地址:cloudera manager 2、官网的安装指南 官方文档提供了三种安装方式:...

Mr_陈
2015/04/29
0
0

没有更多内容

加载失败,请刷新页面

加载更多

大数据反欺诈技术架构

一年多以前,有朋友让我聊一下你们的大数据反欺诈架构是怎么实现的,以及我们途中踩了哪些坑,怎么做到从30min延迟优化到1s内完成实时反欺诈。当时呢第一是觉得不合适,第二也是觉得场景比较...

微笑向暖wx
31分钟前
1
0
flink-系统内部消息传递的exactly once语义

At Most once,At Least once和Exactly once 在分布式系统中,组成系统的各个计算机是独立的。这些计算机有可能fail。 一个sender发送一条message到receiver。根据receiver出现fail时sender如...

xtof
38分钟前
1
0
iOS程序执行顺序和UIViewController 的生命周期(整理)

说明:此文是自己的总结笔记,主要参考: iOS程序的启动执行顺序 AppDelegate 及 UIViewController 的生命周期 UIView的生命周期 言叶之庭.jpeg 一. iOS程序的启动执行顺序 程序启动顺序图 iO...

壹峰
40分钟前
1
0
配置网络、远程登录、Linux秘钥认证

配置网络 一台服务器安装完系统之后不管是为了方便管理还是业务需要,我们都要给它配置ip地址。让机器能够联网。在现实的生产环境的当中,往往我们给服务器配置的ip都是提前规划好的,但是在...

李超小牛子
43分钟前
1
0
dotConnect for Oracle入门指南(五):检索和修改数据

【下载dotConnect for Oracle最新版本】 dotConnect for Oracle(原名OraDirect.NET)建立在ADO.NET技术上,为基于Oracle数据库的应用程序提供完整的解决方案。它为设计应用程序结构带来了新的...

电池盒
43分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部