文档章节

走进cassandra之五 存储机制

chenkangyao
 chenkangyao
发布于 2016/07/19 13:39
字数 855
阅读 22
收藏 0

有图有真相。
先上个图。
这个图总的意思就是说,
数据先写入内存中的Memtable,Memtable达到条件后刷新到磁盘,保存为SSTable,同一个CF的多个SSTable可以合并(Compaction)以优化读操作

commit log -> memtable -> sstable -> compaction.
看起来似乎有些麻烦,存个数据要这么多弯弯绕,但是记得,兄弟们,现在是应付海量数据,同时有很多节点,所以必须要走这么多弯路。

memtable是啥呢,所谓mem, mem,就是memory,内存,放在内存的table。
数据放内存有啥好处呢?
一个字: 快。
因为离CPU最近的,就是内存.

找数据的时候,先去内存里找,找不到再去硬盘找。
从硬盘上找东西的时候,要注意一点,因为硬盘比较矫情。
很容易发生i/o block。

为了应付这个矫情,cassandra找了Bloom兄弟来帮忙。
有个算法叫 Bloom Filter,
可以通过布隆过滤算法(Bloom Filter)减少对不可能包含查询key的SSTable的读取。

说了半天,啥是SSTable呢?
大家伙可以去自己硬盘上看一看:
 

SSTable包含对应的三种文件
Datafile
     按照Key排序顺序保存的数据文件
     文件名称格式如下:ColumnFamilyName-序号-Data.db
Indexfile
    保存每个Key在Datafile中的位置偏移
    文件名称格式如下: ColumnFamilyName-序号-Filter.db
Filterfile
    保存BloomFilter的Key查找树
    文件名称格式如下: ColumnFamilyName-序号-index.db

大家伙实际看下,估计能有个感观印象了。

sstable多了也占空间,麻烦,可以使劲压一压,压扁了,就不占那么大地儿了。
压扁的过程,在cassandra里面,叫compaction.

一个CF可能有很多SSTable,系统会将多个SSTable合并排序后保存为一个新的SSTable,称之为Compaction。
一次compaction最多请求合并32个SSTable,最少4个。超过32个则按时间排序分批进行(这两个阈值可以设置)。
如果空间不足,则尝试去掉最大的SSTable再合并,如果连合并两个最小的SSTable的空间都不足,则告警。
Major Comaction:合并CF的所有SSTable为一个新的SSTable,同时执行垃圾数据(已标记删除的数据tombstone)清理。
Minor Compaction:只合并大小差不多的SSTable,超过4个需要合并的SSTable就会自动触发。
可通过nodetool compact命令手动触发。
数据目录最好保持50%以上的可用空间。

就好像雷锋做了好事,要写在日记本上一样,咱凡事都有个log文件。
cassandra也有一个,叫 commitlog.

Commitlog是server级别的,不是Column Family级别的,每一个节点上的Commitlog都是统一管理。
每个Commitlog文件的大小是固定的,称之为一个CommitlogSegment,目前版本(0.7.0)中,这个大小是128MB,硬编码在代码中。
当一个Commitlog文件写满以后,会新建一个的文件。
SSTable持久后不可变更,故Commitlog只用于Memtable的恢复,相当于Oracle的Instance Recovery。Cassandra不需要做Media Recover
当节点异常重启后,将根据SSTable和Commitlog进行实例恢复,在内存中重新恢复出宕机前的Memtable。
当一个Commitlog文件对应的所有CF的Memtable都刷新到磁盘后,该Commitlog就不再需要,系统会自动清除

© 著作权归作者所有

共有 人打赏支持
chenkangyao
粉丝 5
博文 44
码字总数 75969
作品 0
广州
高级程序员
走进cassandra 之一 CAP和分布式

决定share一下我的cassandra学习成果,写一些博客,跟大家共同分享一下,准备写10篇文章,内容分别涉及 分布式存储概述及CAP, 数据模型, 分区器, 副本机制, 存储机制, 数据读写删, 最终一...

chenkangyao
2016/07/19
21
0
走进cassandra之六 数据读写删

先说写,再说读,最后说 数据一致性(data consistency)。 cassandra对于 数据写入,那是相当给方便的,比对 首长儿子还亲呢, 写的相当快,相当高效。 相比来说,关系型数据库,对于数据 ...

chenkangyao
2016/07/19
9
0
Apache Cassandra 2.0 发布,K/V 存储系统

Apache 基金会宣布 Cassandra 2.0 正式版本发布了。该版本包含轻量级事务处理机制、触发器和 CQL (Cassandra Query Language) 增强,大大提升了在开发流行的、数据驱动的应用上的效率。 Apac...

oschina
2013/09/05
5.1K
8
Cassandra维护最终一致性 和存储机制 分区策略

维护最终一致性 Cassandra 通过4个技术来维护数据的最终一致性,分别为逆熵(Anti-Entropy),读修复(Read Repair),提示移交(Hinted Handoff)和分布式删除。 1) 逆熵 这是一种备份之间的...

Will--wang
2015/05/26
0
0
如何实现节点间数据同步

Apache Cassandra3.X 系列,第 4 部分 如何实现节点间数据同步 周 明耀 2017 年 12 月 06 日发布 系列内容: 此内容是该系列 6 部分中的第 # 部分: Apache Cassandra3.X 系列,第 4 部分 ht...

周 明耀
2017/12/06
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

以太坊总结

一、概念说明 1.以太坊(Ethereum blockchain)由V神(Vitalik Buterin)发明,是一个交易记录的永久数据库,它以一个“无信任”的交易系统来运行,不需要任何第三方信任机构即可进行点对点的...

盼望明天
27分钟前
1
0
Java并发工具类——AtomicInteger

基本类型int的递增等操作并不是线程安全的,加上synchronized又会影响性能,因此在并发情况下我们应该使用AtomicInteger,下面通过一个例子验证一哈。 public class TestAtomicInteger {...

东都大狼狗
28分钟前
1
0
基于CentOS7.2系统对RabbitMQ单机版安装过程

准备虚拟机系统 我的系统如下 系统版本7.2 安装perl yum install perl 安装wget工具 yum install -y wget 安装相关依赖工具 yum install ncurses ncurses-base ncurses-devel ncurses-libs ...

凌晨一点
32分钟前
1
0
Maven常用命令

Maven常用命令 说到命令,则不得不提一下环境变量,在之前的博文中简单提了一下环境变量的配置,这里具体说一下。说完环境变量的配置,然后就是Maven的常用命令,这里说的是常用的几个命令,...

星汉
49分钟前
0
0
Flink操作mysql kafka和hbase

主程序 package com.streaming.flink;import java.util.Properties;import org.apache.flink.api.common.functions.FlatMapFunction;import org.apache.flink.api.common.functi......

守望者之父
今天
2
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部