文档章节

存储知识记录

cece_co
 cece_co
发布于 2017/07/29 22:15
字数 699
阅读 20
收藏 0
点赞 1
评论 0

平时工作是做云计算相关的,最近在学习hadoop的知识看到hadoop的文件存储方式结合用过的ceph,elasticsearch做下存储相关知识的记录。

块存储、文件存储、对象存储

介绍:

块存储:是以扇区为基础的,一个或连续的扇区组成一个块,概念来自于物理存储。

文件储存:是多个物理块组成逻辑块后形成文件存储,根据不同的概念及驱动形成入nfs,ext4等文件系统。

对象存储:结合上面两个优点,增加了元数据(metadata)服务器。

这里有个知乎上不错的回答:http://www.zhihu.com/question/21536660

优缺点:

推荐生产环境ceph使用块存储、对象存储

文件级备份:

文件级备份是指在指定某些文件进行备份时,首先会查找每个文件逻辑块,其次物理块,由于逻辑块是分散在物理块上,而物理块也是分散在不同扇区上。需要一层一 层往下查找,最后才完成整个文件复制。文件级备份时比较费时间,效率不高,实时性不强,备份时间长,且增量备份时,单文件某一小部份修改,不会只备份修改 部份,而整个文件都备份。

块级备份:

块级备份是指物理块复制,效率高,实时性强,备份时间短,且增量备份时,只备份修改过的物理块。

ceph、hadoop、elasticsearch

hadoop:分布式存储主要适用于一次写入多次读取的场合(后续可能会增加其他数据处理方式),有数据块的概念(64M为一块,可配置),将大文件分割为多个块进行存储;namenode内存中存放datanode数据索引,存储大小瓶颈来自namenode内存大小。

ceph:支持块存储、文件存储、对象存储;与hadoop相似的是块存储,不过更接近于物理块的概念;ceph的块驱动基于RBD(介绍http://www.sebastien-han.fr/blog/2016/03/28/ceph-jewel-preview-ceph-rbd-mirroring

hadoop的存储也可以换成ceph的块存储不过性能可能会下降。

elasticsearch:更接近于nosql的数据库,不过分布式存储也是切片保存数据(介绍https://kibana.logstash.es/content/elasticsearch/principle/);查询的时候还有hadoop-elasticsearch插件感觉上是将logstash替换为了hadoop(理解的不知道对不对)。

最后:

以上是工作中接触过的一些分布式存储的系统,要是想更深层次的理解一些知识还是要看一些理论行的东西如CAP,数据一致性存储等。

以上有什么说的不对的请指正,大家共同学习。

 

© 著作权归作者所有

共有 人打赏支持
cece_co
粉丝 0
博文 5
码字总数 2223
作品 0
浦东
高级程序员
轻松学习C语言编程的秘诀:总结+灵感

目前在准备一套C语言的学习教程,所以我这里就以C语言编程的学习来讲。注意,讲的是“轻松学习”,那种不注重方法,拼命玩命的方式也有其效果,但不是我提倡的。我讲究的是在方式方法对头、适...

ningcaichen66 ⋅ 2017/09/20 ⋅ 0

[心得] 近期更新&关于Infobright

新的环境,新的机会,喜欢自由的我现在感觉不错,终于可以自在的记录我想记录的东西了,哈哈~关于GoogleApp的企业套件我也给自己弄了一套,感觉挺不错,和Outlook可以直接整合起来,不过只能...

晨曦之光 ⋅ 2012/03/09 ⋅ 0

Oracle Data Integrator 介绍

本文介绍了 Oracle Data Integrator,它是一个基于 Java 的中间件,可以使用数据库在 SOA 中执行基于集合的数据集成任务。 现在,复杂的“可热插拔”系统和面向服务的体系结构 (SOA) 得到了广...

mj4738 ⋅ 2013/03/21 ⋅ 0

复习Oracle中的一点知识

Oracle 10g Oracle是为网格计算而设计的 10g中的g就是指grid computing Oracle将数据存储在文件中,保存不同信息的文件(数据文件,控制文件,日志文件)就组成了数据库的物理结构 逻辑结构:...

Mybbz ⋅ 2014/08/19 ⋅ 0

MySQL · 引擎特性 · Infobright 列存数据库

简介 系统架构 查询优化 存储结构 数据压缩 总结 简介 Infobright 是一个面向 OLAP 场景的开源列存数据库。比较容易找到代码的版本是 Infobright Community Edition 4.0.7,大概是 2006 年前...

阿里云RDS-数据库内核组 ⋅ 2016/12/02 ⋅ 0

SQLserver的触发器、存储过程、

在学习牛腩的过程中了解了这些,觉得很值得记录的,这三个都是和数据库有关的,之前也是有学过数据库这本书但是对于触发器还有存储过程并没有太多的了解。下面写一写自己了解的知识。 一、触...

cjune ⋅ 03/11 ⋅ 0

MongoDB基础知识(一)

互联网行业的发展非常的迅速,数据存储以及架构优化方面也有很多不同的解决方案,例如关系型数据库、非关系型数据库、数据仓库技术等。更多数据库类产品的出现,为我们很好的解决了数据存储的...

tianya1993 ⋅ 2017/05/29 ⋅ 0

移动视频编码学习笔记(二)

终于在CentOS下编译完成了FFmpeg,又好几次把系统玩的从崩溃到急救,觉得还是安心先看看入门知识好。于是结合《新一代高效视频编码》与雷霄骅大神的广电小学期视频开始了基础知识的学习。 注...

Rew小小厨 ⋅ 2017/12/16 ⋅ 0

innodb 行格式(row_format)案例一则

背景知识: InnoDB存储引擎和大多数数据库一样,记录是以行的形式存储的,这意味着页中保存着表中一行行的数据。另外MYSQL对每个页存放的记录数又有硬性的规定,最少2行,最多16KB/2 - 200,...

橡皮高 ⋅ 05/31 ⋅ 0

infobright实战

之前的简介与架构分析之后,我做了一些实践,验证 infobright用于大量数据存储与查询的可行性。 我是从这里下载的infobright开源版本ICE3.1(据说刚出的ICE3.2查询速度更快)。用DEB包在ubu...

小编辑 ⋅ 2010/02/03 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

内核线程、轻量级进程、用户线程

线程与进程概念 在现代操作系统中,进程支持多线程。 进程是资源管理的最小单元; 线程是程序执行的最小单元。 即线程作为调度和分配的基本单位,进程作为资源分配的基本单位 一个进程的组成...

117 ⋅ 25分钟前 ⋅ 0

elasticsearch2.4.6升级为elasticsearch-5.5.0的经历

将elasticsearch-5.5.0 中的配置 path.data 指向原来的数据路径 即 path.data: /usr/local/src/elasticsearch-2.4.6/data 注意: elasticsearch-5.5.0 需要将jdk版本升级到1.8...

晨猫 ⋅ 26分钟前 ⋅ 1

lvm讲解 磁盘故障小案例

1

oschina130111 ⋅ 30分钟前 ⋅ 0

那些提升开发人员工作效率的在线工具

本文转载自公众号 Hollis 作为一个Java开发人员,经常要和各种各样的工具打交道,除了我们常用的IDE工具以外,其实还有很多工具是我们在日常开发及学习过程中要经常使用到的。 Hollis偏爱使用...

时刻在奔跑 ⋅ 42分钟前 ⋅ 0

restful风格 实现DELETE PUT请求 的web.xml的配置

import org.springframework.beans.factory.annotation.Autowired; import org.springframework.http.HttpStatus; import org.springframework.http.ResponseEntity; import org.springframe......

泉天下 ⋅ 47分钟前 ⋅ 0

Shell数组

Shell数组 Shell在编程方面比Windows批处理强大很多,无论是在循环、运算。 bash支持一维数组(不支持多维数组),并且没有限定数组的大小。类似与C语言,数组元素的下标由0开始编号。获取数...

蜗牛奔跑 ⋅ 57分钟前 ⋅ 0

nmap为了开发方便 可以做简单的修改

因为nmap扫描是默认使用的是nse脚本,但是在开发的过程中需要修改后缀(主要是因为后缀为lua才能显示高亮,所以这里用一个取巧的办法) nse_main.lua文件中我们找到如下代码 local t, path = cn...

超级大黑猫 ⋅ 今天 ⋅ 0

springmvc获取axios数据为null情况

场景:前端用了vue没有用ajax与后台通信,用了axios,但是在代码运行过程中发现axios传递到后台的值接受到数据为null。 问题原因:此处的问题在与axios返回给后台的数据为json类型的,后台接...

王子城 ⋅ 今天 ⋅ 0

hadoop技术入门学习之发行版选择

经常会看到这样的问题:零基础学习hadoop难不难?有的人回答说:零基础学习hadoop,没有想象的那么难,也没有想象的那么容易。看到这样的答案不免觉得有些尴尬,这个问题算是白问了,因为这个...

左手的倒影 ⋅ 今天 ⋅ 0

806. Number of Lines To Write String - LeetCode

Question 806. Number of Lines To Write String Solution 思路:注意一点,如果a长度为4,当前行已经用了98个单元,要另起一行。 Java实现: public int[] numberOfLines(int[] widths, Str...

yysue ⋅ 今天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部