文档章节

存储知识记录

cece_co
 cece_co
发布于 2017/07/29 22:15
字数 699
阅读 29
收藏 0

平时工作是做云计算相关的,最近在学习hadoop的知识看到hadoop的文件存储方式结合用过的ceph,elasticsearch做下存储相关知识的记录。

块存储、文件存储、对象存储

介绍:

块存储:是以扇区为基础的,一个或连续的扇区组成一个块,概念来自于物理存储。

文件储存:是多个物理块组成逻辑块后形成文件存储,根据不同的概念及驱动形成入nfs,ext4等文件系统。

对象存储:结合上面两个优点,增加了元数据(metadata)服务器。

这里有个知乎上不错的回答:http://www.zhihu.com/question/21536660

优缺点:

推荐生产环境ceph使用块存储、对象存储

文件级备份:

文件级备份是指在指定某些文件进行备份时,首先会查找每个文件逻辑块,其次物理块,由于逻辑块是分散在物理块上,而物理块也是分散在不同扇区上。需要一层一 层往下查找,最后才完成整个文件复制。文件级备份时比较费时间,效率不高,实时性不强,备份时间长,且增量备份时,单文件某一小部份修改,不会只备份修改 部份,而整个文件都备份。

块级备份:

块级备份是指物理块复制,效率高,实时性强,备份时间短,且增量备份时,只备份修改过的物理块。

ceph、hadoop、elasticsearch

hadoop:分布式存储主要适用于一次写入多次读取的场合(后续可能会增加其他数据处理方式),有数据块的概念(64M为一块,可配置),将大文件分割为多个块进行存储;namenode内存中存放datanode数据索引,存储大小瓶颈来自namenode内存大小。

ceph:支持块存储、文件存储、对象存储;与hadoop相似的是块存储,不过更接近于物理块的概念;ceph的块驱动基于RBD(介绍http://www.sebastien-han.fr/blog/2016/03/28/ceph-jewel-preview-ceph-rbd-mirroring

hadoop的存储也可以换成ceph的块存储不过性能可能会下降。

elasticsearch:更接近于nosql的数据库,不过分布式存储也是切片保存数据(介绍https://kibana.logstash.es/content/elasticsearch/principle/);查询的时候还有hadoop-elasticsearch插件感觉上是将logstash替换为了hadoop(理解的不知道对不对)。

最后:

以上是工作中接触过的一些分布式存储的系统,要是想更深层次的理解一些知识还是要看一些理论行的东西如CAP,数据一致性存储等。

以上有什么说的不对的请指正,大家共同学习。

 

© 著作权归作者所有

共有 人打赏支持
cece_co
粉丝 0
博文 5
码字总数 2223
作品 0
浦东
高级程序员
轻松学习C语言编程的秘诀:总结+灵感

目前在准备一套C语言的学习教程,所以我这里就以C语言编程的学习来讲。注意,讲的是“轻松学习”,那种不注重方法,拼命玩命的方式也有其效果,但不是我提倡的。我讲究的是在方式方法对头、适...

ningcaichen66
2017/09/20
0
0
[心得] 近期更新&关于Infobright

新的环境,新的机会,喜欢自由的我现在感觉不错,终于可以自在的记录我想记录的东西了,哈哈~关于GoogleApp的企业套件我也给自己弄了一套,感觉挺不错,和Outlook可以直接整合起来,不过只能...

晨曦之光
2012/03/09
0
0
Oracle Data Integrator 介绍

本文介绍了 Oracle Data Integrator,它是一个基于 Java 的中间件,可以使用数据库在 SOA 中执行基于集合的数据集成任务。 现在,复杂的“可热插拔”系统和面向服务的体系结构 (SOA) 得到了广...

mj4738
2013/03/21
0
0
MySQL · 引擎特性 · Infobright 列存数据库

简介 系统架构 查询优化 存储结构 数据压缩 总结 简介 Infobright 是一个面向 OLAP 场景的开源列存数据库。比较容易找到代码的版本是 Infobright Community Edition 4.0.7,大概是 2006 年前...

阿里云RDS-数据库内核组
2016/12/02
0
0
InnoDB,5项最佳实践,知其所以然?

缓存讲了一个月《缓存架构,一篇足够》。今天,开始写数据库。 第一篇,说说MySQL两个最常用的存储引擎,MyISAM和InnoDB。照自己的理解,把一些知识点总结出来,不只说知识点,多讲“为什么”...

架构师之路
08/08
0
0

没有更多内容

加载失败,请刷新页面

加载更多

线性一致性和 Raft

作者:沈泰宁 在讨论分布式系统时,共识算法(Consensus algorithm)和一致性(Consistency)通常是讨论热点,两者的联系很微妙,很容易搞混。一些常见的误解:使用了 Raft [0] 或者 paxos ...

TiDB
18分钟前
0
0
兄弟连区块链教程以太坊源码分析core-state-process源码分析

## StateTransition状态转换模型 /* The State Transitioning Model 状态转换模型 A state transition is a change made when a transaction is applied to the cu......

兄弟连区块链入门教程
20分钟前
0
0
linear-gradient渐变中的参数

在看张鑫旭的博客 遇到渐变数值后面带参数不太理解 @supports (-webkit-mask: none) or (mask: none) { .box { border: none; background: linear-gradient(to bottom, #34538...

红羊在厦门
22分钟前
0
0
Python yagmail模块自动发邮件

Python发邮件yagmail模块 import yagmail#连接服务器yag=yagmail.SMTP('xx@163.com','yy','smtp.163.com')#邮箱正文contents=["test","email send"]#发送邮件#yag.send('...

小白兔_球球
22分钟前
1
0
pada mysql

CREATE SCHEMA `exchange` DEFAULT CHARACTER SET utf8mb4 ;

qwfys
31分钟前
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部