存储知识记录
博客专区 > cece_co 的博客 > 博客详情
存储知识记录
cece_co 发表于9个月前
存储知识记录
  • 发表于 9个月前
  • 阅读 17
  • 收藏 0
  • 点赞 1
  • 评论 0

【腾讯云】新注册用户域名抢购1元起>>>   

摘要: hadoop,ceph,elasticsearch

平时工作是做云计算相关的,最近在学习hadoop的知识看到hadoop的文件存储方式结合用过的ceph,elasticsearch做下存储相关知识的记录。

块存储、文件存储、对象存储

介绍:

块存储:是以扇区为基础的,一个或连续的扇区组成一个块,概念来自于物理存储。

文件储存:是多个物理块组成逻辑块后形成文件存储,根据不同的概念及驱动形成入nfs,ext4等文件系统。

对象存储:结合上面两个优点,增加了元数据(metadata)服务器。

这里有个知乎上不错的回答:http://www.zhihu.com/question/21536660

优缺点:

推荐生产环境ceph使用块存储、对象存储

文件级备份:

文件级备份是指在指定某些文件进行备份时,首先会查找每个文件逻辑块,其次物理块,由于逻辑块是分散在物理块上,而物理块也是分散在不同扇区上。需要一层一 层往下查找,最后才完成整个文件复制。文件级备份时比较费时间,效率不高,实时性不强,备份时间长,且增量备份时,单文件某一小部份修改,不会只备份修改 部份,而整个文件都备份。

块级备份:

块级备份是指物理块复制,效率高,实时性强,备份时间短,且增量备份时,只备份修改过的物理块。

ceph、hadoop、elasticsearch

hadoop:分布式存储主要适用于一次写入多次读取的场合(后续可能会增加其他数据处理方式),有数据块的概念(64M为一块,可配置),将大文件分割为多个块进行存储;namenode内存中存放datanode数据索引,存储大小瓶颈来自namenode内存大小。

ceph:支持块存储、文件存储、对象存储;与hadoop相似的是块存储,不过更接近于物理块的概念;ceph的块驱动基于RBD(介绍http://www.sebastien-han.fr/blog/2016/03/28/ceph-jewel-preview-ceph-rbd-mirroring

hadoop的存储也可以换成ceph的块存储不过性能可能会下降。

elasticsearch:更接近于nosql的数据库,不过分布式存储也是切片保存数据(介绍https://kibana.logstash.es/content/elasticsearch/principle/);查询的时候还有hadoop-elasticsearch插件感觉上是将logstash替换为了hadoop(理解的不知道对不对)。

最后:

以上是工作中接触过的一些分布式存储的系统,要是想更深层次的理解一些知识还是要看一些理论行的东西如CAP,数据一致性存储等。

以上有什么说的不对的请指正,大家共同学习。

 

标签: 分布式存储
  • 打赏
  • 点赞
  • 收藏
  • 分享
共有 人打赏支持
粉丝 0
博文 5
码字总数 2223
×
cece_co
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: