文档章节

走进cassandra之五 存储机制

chenkangyao
 chenkangyao
发布于 2016/07/19 13:39
字数 855
阅读 27
收藏 0

有图有真相。
先上个图。
这个图总的意思就是说,
数据先写入内存中的Memtable,Memtable达到条件后刷新到磁盘,保存为SSTable,同一个CF的多个SSTable可以合并(Compaction)以优化读操作

commit log -> memtable -> sstable -> compaction.
看起来似乎有些麻烦,存个数据要这么多弯弯绕,但是记得,兄弟们,现在是应付海量数据,同时有很多节点,所以必须要走这么多弯路。

memtable是啥呢,所谓mem, mem,就是memory,内存,放在内存的table。
数据放内存有啥好处呢?
一个字: 快。
因为离CPU最近的,就是内存.

找数据的时候,先去内存里找,找不到再去硬盘找。
从硬盘上找东西的时候,要注意一点,因为硬盘比较矫情。
很容易发生i/o block。

为了应付这个矫情,cassandra找了Bloom兄弟来帮忙。
有个算法叫 Bloom Filter,
可以通过布隆过滤算法(Bloom Filter)减少对不可能包含查询key的SSTable的读取。

说了半天,啥是SSTable呢?
大家伙可以去自己硬盘上看一看:
 

SSTable包含对应的三种文件
Datafile
     按照Key排序顺序保存的数据文件
     文件名称格式如下:ColumnFamilyName-序号-Data.db
Indexfile
    保存每个Key在Datafile中的位置偏移
    文件名称格式如下: ColumnFamilyName-序号-Filter.db
Filterfile
    保存BloomFilter的Key查找树
    文件名称格式如下: ColumnFamilyName-序号-index.db

大家伙实际看下,估计能有个感观印象了。

sstable多了也占空间,麻烦,可以使劲压一压,压扁了,就不占那么大地儿了。
压扁的过程,在cassandra里面,叫compaction.

一个CF可能有很多SSTable,系统会将多个SSTable合并排序后保存为一个新的SSTable,称之为Compaction。
一次compaction最多请求合并32个SSTable,最少4个。超过32个则按时间排序分批进行(这两个阈值可以设置)。
如果空间不足,则尝试去掉最大的SSTable再合并,如果连合并两个最小的SSTable的空间都不足,则告警。
Major Comaction:合并CF的所有SSTable为一个新的SSTable,同时执行垃圾数据(已标记删除的数据tombstone)清理。
Minor Compaction:只合并大小差不多的SSTable,超过4个需要合并的SSTable就会自动触发。
可通过nodetool compact命令手动触发。
数据目录最好保持50%以上的可用空间。

就好像雷锋做了好事,要写在日记本上一样,咱凡事都有个log文件。
cassandra也有一个,叫 commitlog.

Commitlog是server级别的,不是Column Family级别的,每一个节点上的Commitlog都是统一管理。
每个Commitlog文件的大小是固定的,称之为一个CommitlogSegment,目前版本(0.7.0)中,这个大小是128MB,硬编码在代码中。
当一个Commitlog文件写满以后,会新建一个的文件。
SSTable持久后不可变更,故Commitlog只用于Memtable的恢复,相当于Oracle的Instance Recovery。Cassandra不需要做Media Recover
当节点异常重启后,将根据SSTable和Commitlog进行实例恢复,在内存中重新恢复出宕机前的Memtable。
当一个Commitlog文件对应的所有CF的Memtable都刷新到磁盘后,该Commitlog就不再需要,系统会自动清除

© 著作权归作者所有

共有 人打赏支持
chenkangyao
粉丝 6
博文 44
码字总数 75969
作品 0
广州
高级程序员
私信 提问
走进cassandra 之一 CAP和分布式

决定share一下我的cassandra学习成果,写一些博客,跟大家共同分享一下,准备写10篇文章,内容分别涉及 分布式存储概述及CAP, 数据模型, 分区器, 副本机制, 存储机制, 数据读写删, 最终一...

chenkangyao
2016/07/19
21
0
Cassandra维护最终一致性 和存储机制 分区策略

维护最终一致性 Cassandra 通过4个技术来维护数据的最终一致性,分别为逆熵(Anti-Entropy),读修复(Read Repair),提示移交(Hinted Handoff)和分布式删除。 1) 逆熵 这是一种备份之间的...

Will--wang
2015/05/26
0
0
Apache Cassandra 2.0 发布,K/V 存储系统

Apache 基金会宣布 Cassandra 2.0 正式版本发布了。该版本包含轻量级事务处理机制、触发器和 CQL (Cassandra Query Language) 增强,大大提升了在开发流行的、数据驱动的应用上的效率。 Apac...

oschina
2013/09/05
5.1K
8
走进cassandra之六 数据读写删

先说写,再说读,最后说 数据一致性(data consistency)。 cassandra对于 数据写入,那是相当给方便的,比对 首长儿子还亲呢, 写的相当快,相当高效。 相比来说,关系型数据库,对于数据 ...

chenkangyao
2016/07/19
9
0
snowflake——Twitter 开源的分布式自增 ID 算法

Twitter在把存储系统从MySQL迁移到Cassandra的过程中,由于Cassandra没有顺序ID生成机制,于是自己开发了一套全局唯一ID生成服务:Snowflake。优点是:高性能,低延迟;独立的应用;按时间有...

oschina
2016/07/04
72
0

没有更多内容

加载失败,请刷新页面

加载更多

EOS docker开发环境

使用eos docker镜像是部署本地EOS开发环境的最轻松愉快的方法。使用官方提供的eos docker镜像,你可以快速建立一个eos开发环境,可以迅速启动开发节点和钱包服务器、创建账户、编写智能合约....

汇智网教程
43分钟前
2
0
《唐史原来超有趣》的读后感优秀范文3700字

《唐史原来超有趣》的读后感优秀范文3700字: 作者:花若离。我今天分享的内容《唐史原来超有趣》这本书的读后感,我将这本书看了一遍之后就束之高阁了,不过里面的内容一直在在脑海中回放,...

原创小博客
今天
6
0
IC-CAD Methodology知识图谱

CAD (Computer Aided Design),计算机辅助设计,指利用计算机及其图形设备帮助设计人员进行设计工作,这个定义同样可以用来近似描述IC公司CAD工程师这个岗位的工作。 早期IC公司的CAD岗位最初...

李艳青1987
今天
6
0
CompletableFuture get方法一直阻塞或抛出TimeoutException

问题描述 最近刚刚上线的服务突然抛出大量的TimeoutException,查询后发现是使用了CompletableFuture,并且在执行future.get(5, TimeUnit.SECONDS);时抛出了TimeoutException异常,导致接口响...

xiaolyuh
今天
5
0
dubbo 搭建与使用

官网:http://dubbo.apache.org/en-us/ 一,安装监控中心(可以不安装) admin管理控制台,monitor监控中心 下载 bubbo ops 这个是新版的,需要node.js环境,我没有就用老版的了...

小兵胖胖
今天
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部