文档章节

redis sds 实现的几个巧妙的想法

鼎铭
 鼎铭
发布于 06/13 16:59
字数 446
阅读 473
收藏 5
点赞 0
评论 0

    翻redis 源码的时候,发现有些用法真是很巧妙的,一个是指针变换,一个是内存管理策略,当然后者是有利弊的。    

    sds.h 就这两个数据类型,这里,能够sds 和 sdshdr 相互转化。对外的接口,参数和返回只有char * 。redis 为每个char * 都维护了个数据结构 sdshdr ,防止溢出,又可以减少内存分配。这里char * 怎么跟 sdshdr 关联上?

typedef char *sds;

struct sdshdr {
    long len;
    long free;
    char buf[];
};

    这里 sdshdr 是16个字节,buf 是动态数组,计算偏移的时候size 为0。通过sdshdr 取 buf 地址,强制转成 char * ,也就是sds ,这个数组转字符串指针的操作很好理解。当我们获得sds 的时候,想知道预分配长度,直接向左偏移struct 大小,就是sdshdr的地址,强制转换类型后,就额可以取len。

    看源码 sdslen 函数就可以看出:

size_t sdslen(const sds s) {
    struct sdshdr *sh = (void*) (s-(sizeof(struct sdshdr))); //先偏移struct大小,强制转成sdshdr
    return sh->len;
}

    第二个有意思的是sds 的内存预分配,在对字符串拼接的时候,有个惰性预分配的操作,每次free 为0 ,触发重新拷贝,都将多分配一倍多余内存,备用。这里好处是减少内存分配,当然也浪费了内存。对应底层函数如下:

static sds sdsMakeRoomFor(sds s, size_t addlen) {
    struct sdshdr *sh, *newsh;
    size_t free = sdsavail(s);
    size_t len, newlen;

    if (free >= addlen) return s;
    len = sdslen(s);
    sh = (void*) (s-(sizeof(struct sdshdr)));
    newlen = (len+addlen)*2; //内存空间在要重新分配的情况下,直接加倍
    newsh = zrealloc(sh, sizeof(struct sdshdr)+newlen+1);
#ifdef SDS_ABORT_ON_OOM
    if (newsh == NULL) sdsOomAbort();
#else
    if (newsh == NULL) return NULL;
#endif

    newsh->free = newlen - len;
    return newsh->buf;
}

   

© 著作权归作者所有

共有 人打赏支持
鼎铭
粉丝 17
博文 63
码字总数 36701
作品 0
东城
程序员
关于redis中SDS简单动态字符串

1、SDS 定义 在C语言中,字符串是以’0’字符结尾(NULL结束符)的字符数组来存储的,通常表达为字符指针的形式(char *)。它不允许字节0出现在字符串中间,因此,它不能用来存储任意的二进...

踏雪无痕SS ⋅ 2017/08/06 ⋅ 0

Redis字符串类型实现内幕

摘要 Redis不仅仅是一个key-value存储,它更是一个数据结构服务,支持不同类型的值。这意味着在传统的key-value存储中,我们用string的key关联string的value。而在Redis中,我们可以存储的值...

Float_Luuu ⋅ 2016/05/15 ⋅ 0

Redis 2.8.9源码 - Redis中的字符串实现 sds

本文为作者原创,转载请注明出处:http://my.oschina.net/fuckphp/blog/269167 在C中子字符串的实现都是用 char *来实现的,用起来很不方便,而且容易出现内存泄露,并且效率不高,在Redis内...

logbird ⋅ 2014/05/26 ⋅ 3

Redis 字符串类型实现内幕

本文作者:伯乐在线 -Float_Lu 。未经作者许可,禁止转载! 欢迎加入伯乐在线专栏作者。 摘要 Redis不仅仅是一个key-value存储,它更是一个数据结构服务,支持不同类型的值。这意味着在传统的...

伯乐在线 ⋅ 2016/06/10 ⋅ 0

深入了解一下Redis的内存模型!

一前言 Redis是目前最火爆的内存数据库之一,通过在内存中读写数据,大大提高了读写速度,可以说Redis是实现网站高并发不可或缺的一部分。 我们使用Redis时,会接触Redis的5种对象类型(字符...

Java高级架构 ⋅ 05/31 ⋅ 0

Redis研究-1.简单动态字符串

我们知道,在C字符串中,底层的实现是使用c字符数组来实现的,但是在高性能以及内存安全方面,使用底层的c字符串是满足不了的,举个简单的例子,如果你使用strcat(s,s1)函数,如果在操作之前...

会飞的杨先生 ⋅ 2015/08/24 ⋅ 7

Redis 数据结构之-简单动态字符串(SDS)

Redis采用一种名为简单动态字符串(simple dynamic string,SDS)的数据结构做为默认字符串的表示。 并且在Redis中,只有常量采用默认C语言字符串表示,如果一个字符串是可变的就会采用SDS。...

book ⋅ 2016/11/18 ⋅ 0

Redis数据结构——SDS,链表

简单动态字符串 struct sdshdr { unsigned int len; //记录buf数组中已使用字节的数量 等于SDS所保存字符串的长度 unsigned int free; // 记录buf数组中未使用字节的数量 char buf[]; //字节...

nao ⋅ 2016/05/04 ⋅ 0

Redis 的基础数据结构(一) 可变字符串、链表、字典

这篇文章关于 Redis 的基础数据。阅读这篇文章你可以了解: 动态字符串(SDS) 链表 字典 三个数据结构 Redis 是怎么实现的。 SDS SDS (Simple Dynamic String) 是 Redis 最基础的数据结构。...

哲别0 ⋅ 05/07 ⋅ 0

Redis的六种数据结构

本节将对Redis底层的六种数据结构展开详述:简单动态字符串、链表、字典、跳跃表、整数集合、压缩列表。 一、简单动态字符串(SDS) Redis基于C语言开发但并没有直接使用C语言传统的字符串,...

u012050154 ⋅ 2017/11/27 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

Linux中的端口大全

1 被LANA定义的端口 端口 名称 描述 1 tcpmux TCP 端口服务多路复用 5 rje 远程作业入口 7 echo Echo 服务 9 discard 用于连接测试的空服务 11 systat 用于列举连接了的端口的系统状态 13 d...

寰宇01 ⋅ 15分钟前 ⋅ 0

Confluence 6 如何备份存储文件和页面信息

备份的 ZIP 文件包含有 entities.xml,这个 XML 文件包含有 Confluence 的所有页面内容和存储附件的目录。 备份 Zip 文件结构 页面的附件是存储在附件存储目录中的,通过页面和附件 ID 进行识...

honeymose ⋅ 18分钟前 ⋅ 0

【每天一个JQuery特效】根据状态确定是否滑入或滑出被选元素

主要效果: 本文主要采用slideToggle()方法实现以一行代码同时实现以展开或收缩的方式显示或隐藏被选元素。 主要代码如下: <!DOCTYPE html><html><head><meta charset="UTF-8">...

Rhymo-Wu ⋅ 22分钟前 ⋅ 0

度量.net framework 迁移到.net core的工作量

把现有的.net framework程序迁移到.net core上,是一个非常复杂的工作,特别是一些API在两个平台上还不能同时支持。两个类库的差异性,通过人工很难识别全。好在微软的工程师们考虑到了我们顾...

李朝强 ⋅ 27分钟前 ⋅ 0

请不要在“微服务”的狂热中迷失自我!

微服务在过去几年一直是一个非常热门的话题(附录1)。何为“微服务的疯狂”,举个例子: 众所周知,Netflix在DevOps上的表现非常棒。Netfix可以做微服务。因此:如果我做微服务,我也将非常...

harries ⋅ 28分钟前 ⋅ 0

oAuth2 升级Spring Cloud Finchley.RELEASE踩坑分享

背景 6.19号,spring团队发布了期待已久的 Spring Cloud Finchley.RELEASE 版本。 重要变化: 基于Spring Boot 2.0.X 不兼容 Spring Boot 1.5.X 期间踩过几个坑,分享出来给大伙,主要是关于...

冷冷gg ⋅ 58分钟前 ⋅ 0

OSChina 周一乱弹 —— 理发师小姐姐的魔法

Osc乱弹歌单(2018)请戳(这里) 【今日歌曲】 @冰冰棒- :分享田馥甄的单曲《My Love》 《My Love》- 田馥甄 手机党少年们想听歌,请使劲儿戳(这里) @Li-Wang :哎,头发又长了。。。又要...

小小编辑 ⋅ 今天 ⋅ 8

Kafka1.0.X_消费者API详解2

偏移量由消费者管理 kafka Consumer Api还提供了自己存储offset的功能,将offset和data做到原子性,可以让消费具有Exactly Once 的语义,比kafka默认的At-least Once更强大 消费者从指定分区...

特拉仔 ⋅ 今天 ⋅ 0

NEO智能合约之发布和升级(二)

接NEO智能合约之发布和升级(一),我们接下来说说智能合约的升级功能。 一 准备工作 合约的升级需要在合约内预先设置好升级接口,以方便在升级时调用。接下来我们对NEO智能合约之发布和升级...

红烧飞鱼 ⋅ 今天 ⋅ 0

个人博客的运营模式能否学习TMALL天猫质量为上?

心情随笔|个人博客的运营模式能否学习TMALL天猫质量为上? 中国的互联网已经发展了很多年了,记得在十年前,个人博客十分流行,大量的人都在写博客,而且质量还不错,很多高质量的文章都是在...

原创小博客 ⋅ 今天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部