文档章节

hadoop多硬盘挂载

 张欢19933
发布于 2017/06/26 14:26
字数 397
阅读 107
收藏 0

环境说明

9个节点,7个DataNode,每个DataNode有3块硬盘,两块是后来加的,挂载在系统所在文件系统。

hdfs-site.xml配置

把用户名与组都分给hadoop用户。命令为: chown -R hadoop:hadoop  /home/hadoop/develop/data/data1,chown -R hadoop:hadoop  /home/hadoop/develop/data/data2

<property>
   <name>dfs.datanode.data.dir</name>
   <value>
      /home/hadoop/develop/hadoop/hdfs/data,
      /home/hadoop/develop/data/data1,
      /home/hadoop/develop/data/data2
   </value>
</property>

结果

这样hdfs在写数据的时候就会三个目录中轮询,一般这些目录是不同的块设备,不存在的目录会被忽略掉。

建议

如果有多个磁盘不建议做raid,因为做raid会有性能损失,还会导致一个磁盘坏了,整个硬盘也不能用了,而hadoop可以规避这个问题。

遇到的问题

第一次将挂载硬盘的目录直接作为HDFS的data目录,start-all.sh之后,所有的DataNode没有启动,看日志发现是对data1和data2目录没有权限(data1和data2分别挂载着一块硬盘),但是已经将data1和data2的目录权限改成777了。

查找发现原因:data1和data2所挂载的硬盘的根目录下有lost+found这个文件夹,而这个文件的权限是root,导致在hadoop用户下启动的hadoop在扫描配置文件中配置的data目录时,发现有文件hadoop用户没有写权限,就报错,DataNode进程也没启动。

解决方法:在data1和data2目录下分别建立hdfs文件夹,将hadoop的dfs.datanode.data.dir指向hdfs文件夹。

© 著作权归作者所有

上一篇: 消息中间件
下一篇: linux下挂载硬盘
粉丝 47
博文 533
码字总数 244932
作品 0
海淀
私信 提问
Hadoop运维记录系列(十四)

周末去了趟外地,受托给某省移动公司(经确认更正,是中国移动位置基地,不是省公司)做了一下Hadoop集群故障分析和性能调优,把一些问题点记录下来。 该系统用于运营商的信令数据,大约每天1...

Slaytanic
2015/04/20
0
0
云硬盘总结【腾讯云】

产品概述: 云硬盘(Cloud Block Storage)简称CBS为一款存储设备。具有高可用、高可靠、低成本、可定制话的块存储 可以做云服务器的独立可扩展硬盘使用。 采用的三副本分布机制,提高数据的...

Yfblog
2017/12/21
0
0
介绍Linux硬盘系统建立分区步骤

本人很喜欢Linux硬盘系统,在工作中也很喜欢总结关于Linux的经验教训。Linux硬盘系统的知识里面介绍了些一般常用的挂载点,用户们学会就完全可以操作Linux系统。 Linux硬盘系统下,硬盘光驱等...

learningloong
2010/09/24
186
0
LEDE X64磁盘挂载及开启网络共享(samba)教程

上来先要感谢一下koolshare论坛开发组的各位大佬!F大的lede x64真的非常好用! 我用F大的lede有几个月了,也在F大的LEDE群里,最近经常看到有群友问怎么开启LEDE的网络共享(samba),论坛有...

shzwork
03/31
486
0
云主机如何挂载云硬盘

有时我们需要对云主机扩容,挂载一块新的云硬盘是很好的方法。下面具体介绍如何在云主机上挂载云盘。 方法/步骤 查看当前所有硬盘和大小 假设你已经拥有一块云硬盘,并链接了云硬盘和云主机...

达闻西
2016/05/06
0
0

没有更多内容

加载失败,请刷新页面

加载更多

只需一步,在Spring Boot中统一Restful API返回值格式与统一处理异常

统一返回值 在前后端分离大行其道的今天,有一个统一的返回值格式不仅能使我们的接口看起来更漂亮,而且还可以使前端可以统一处理很多东西,避免很多问题的产生。 比较通用的返回值格式如下:...

晓月寒丶
昨天
59
0
区块链应用到供应链上的好处和实际案例

区块链可以解决供应链中的很多问题,例如记录以及追踪产品。那么使用区块链应用到各产品供应链上到底有什么好处?猎头悬赏平台解优人才网小编给大家做个简单的分享: 使用区块链的最突出的优...

猎头悬赏平台
昨天
28
0
全世界到底有多少软件开发人员?

埃文斯数据公司(Evans Data Corporation) 2019 最新的统计数据(原文)显示,2018 年全球共有 2300 万软件开发人员,预计到 2019 年底这个数字将达到 2640万,到 2023 年达到 2770万。 而来自...

红薯
昨天
65
0
Go 语言基础—— 通道(channel)

通过通信来共享内存(Java是通过共享内存来通信的) 定义 func service() string {time.Sleep(time.Millisecond * 50)return "Done"}func AsyncService() chan string {retCh := mak......

刘一草
昨天
58
0
Apache Flink 零基础入门(一):基础概念解析

Apache Flink 的定义、架构及原理 Apache Flink 是一个分布式大数据处理引擎,可对有限数据流和无限数据流进行有状态或无状态的计算,能够部署在各种集群环境,对各种规模大小的数据进行快速...

Vincent-Duan
昨天
60
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部