文档章节

存储知识记录

cece_co
 cece_co
发布于 2017/07/29 22:15
字数 699
阅读 24
收藏 0

平时工作是做云计算相关的,最近在学习hadoop的知识看到hadoop的文件存储方式结合用过的ceph,elasticsearch做下存储相关知识的记录。

块存储、文件存储、对象存储

介绍:

块存储:是以扇区为基础的,一个或连续的扇区组成一个块,概念来自于物理存储。

文件储存:是多个物理块组成逻辑块后形成文件存储,根据不同的概念及驱动形成入nfs,ext4等文件系统。

对象存储:结合上面两个优点,增加了元数据(metadata)服务器。

这里有个知乎上不错的回答:http://www.zhihu.com/question/21536660

优缺点:

推荐生产环境ceph使用块存储、对象存储

文件级备份:

文件级备份是指在指定某些文件进行备份时,首先会查找每个文件逻辑块,其次物理块,由于逻辑块是分散在物理块上,而物理块也是分散在不同扇区上。需要一层一 层往下查找,最后才完成整个文件复制。文件级备份时比较费时间,效率不高,实时性不强,备份时间长,且增量备份时,单文件某一小部份修改,不会只备份修改 部份,而整个文件都备份。

块级备份:

块级备份是指物理块复制,效率高,实时性强,备份时间短,且增量备份时,只备份修改过的物理块。

ceph、hadoop、elasticsearch

hadoop:分布式存储主要适用于一次写入多次读取的场合(后续可能会增加其他数据处理方式),有数据块的概念(64M为一块,可配置),将大文件分割为多个块进行存储;namenode内存中存放datanode数据索引,存储大小瓶颈来自namenode内存大小。

ceph:支持块存储、文件存储、对象存储;与hadoop相似的是块存储,不过更接近于物理块的概念;ceph的块驱动基于RBD(介绍http://www.sebastien-han.fr/blog/2016/03/28/ceph-jewel-preview-ceph-rbd-mirroring

hadoop的存储也可以换成ceph的块存储不过性能可能会下降。

elasticsearch:更接近于nosql的数据库,不过分布式存储也是切片保存数据(介绍https://kibana.logstash.es/content/elasticsearch/principle/);查询的时候还有hadoop-elasticsearch插件感觉上是将logstash替换为了hadoop(理解的不知道对不对)。

最后:

以上是工作中接触过的一些分布式存储的系统,要是想更深层次的理解一些知识还是要看一些理论行的东西如CAP,数据一致性存储等。

以上有什么说的不对的请指正,大家共同学习。

 

© 著作权归作者所有

共有 人打赏支持
cece_co
粉丝 0
博文 5
码字总数 2223
作品 0
浦东
高级程序员
轻松学习C语言编程的秘诀:总结+灵感

目前在准备一套C语言的学习教程,所以我这里就以C语言编程的学习来讲。注意,讲的是“轻松学习”,那种不注重方法,拼命玩命的方式也有其效果,但不是我提倡的。我讲究的是在方式方法对头、适...

ningcaichen66
2017/09/20
0
0
[心得] 近期更新&关于Infobright

新的环境,新的机会,喜欢自由的我现在感觉不错,终于可以自在的记录我想记录的东西了,哈哈~关于GoogleApp的企业套件我也给自己弄了一套,感觉挺不错,和Outlook可以直接整合起来,不过只能...

晨曦之光
2012/03/09
0
0
Oracle Data Integrator 介绍

本文介绍了 Oracle Data Integrator,它是一个基于 Java 的中间件,可以使用数据库在 SOA 中执行基于集合的数据集成任务。 现在,复杂的“可热插拔”系统和面向服务的体系结构 (SOA) 得到了广...

mj4738
2013/03/21
0
0
MySQL · 引擎特性 · Infobright 列存数据库

简介 系统架构 查询优化 存储结构 数据压缩 总结 简介 Infobright 是一个面向 OLAP 场景的开源列存数据库。比较容易找到代码的版本是 Infobright Community Edition 4.0.7,大概是 2006 年前...

阿里云RDS-数据库内核组
2016/12/02
0
0
InnoDB,5项最佳实践,知其所以然?

缓存讲了一个月《缓存架构,一篇足够》。今天,开始写数据库。 第一篇,说说MySQL两个最常用的存储引擎,MyISAM和InnoDB。照自己的理解,把一些知识点总结出来,不只说知识点,多讲“为什么”...

架构师之路
08/08
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

SpringCloud SpringBoot mybatis分布式Web应用的统一异常处理

我们在做Web应用的时候,请求处理过程中发生错误是非常常见的情况。Spring Boot提供了一个默认的映射:/error,当处理中抛出异常之后,会转到该请求中处理,并且该请求有一个全局的错误页面用...

itcloud
21分钟前
0
0
c++ std::bind和std::function

定义于头文件 <functional> std::bind 函数绑定,https://zh.cppreference.com/w/cpp/utility/functional/bind // bind 用例#include <iostream>#include <functional> // 自定义的一......

SibylY
24分钟前
0
0
SecureCRT的安装与破解(过程很详细!!!)

SecureCRT的安装与破解(过程很详细!!!) SecureCRT的安装与破解(过程很详细!!!) 使用SecureCRT可以方便用户在windows环境下对linux主机进行管理,这里为大家讲一下SecureCRT的破解方...

DemonsI
28分钟前
0
1
介绍几款可用的web应用防火墙

目前有两款,基于软件和基于应用程序的web应用防火墙。基于软件的产品布置在Web服务器上,而基于应用程序的产品放置在Web服务器和互联网接口之间。两种类型的防火墙都会在数据传入和传出web...

上树的熊
35分钟前
1
0
用Visual Studio开发以太坊智能合约

区块链和以太坊 自从我熟悉区块链、以太坊和智能合约以来,一直失眠。 我一直在阅读,阅读和阅读,最后我能够使用一些工具,他们建议使用以太坊网站官方客户端应用程序(Ethereum Wallet)也...

geek12345
37分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部