文档章节

guava底层源码简析

lizo
 lizo
发布于 2017/07/25 18:40
字数 1342
阅读 29
收藏 0
点赞 0
评论 0

摘要

guava的缓存相信很多人都有用到,

Cache<String, String> cache = CacheBuilder.newBuilder()
        .expireAfterWrite(100, TimeUnit.SECONDS)
        .maximumSize(10).build();

也常用的方法是设置过期时间。但使用过程中会遇到一些问题:当过期时间到了,缓存中的对象真的会立即被释放吗?当缓存达到容量以后,如何高效的剔除缓存?guava cache的底层数据结构是如何的?带着这些问题,一起来看看guava cache的源码

介绍一下guava Cache基本框架

输入图片说明

  • LoacalCache:实现了currentMap接口,保存了一些配置信息,例如失效时间、容量等。是保存所有缓存最外层的容器
  • segment:为了高并发,借鉴了currentMap中的分段锁机制,segment可以理解是LocalCache中的一部分,不同的segment之间并发不受影响。每次操作根据key进行hash,保证了同一个key的put和set都在同一个segment中。segment中还有两个分别队列用于保存软引用或者弱引用对象回收后的引用
  • refrenceEntry:保存一个缓存key-val的对象,类似map中的entry,只不过map中entry保存的对象的直接进行,而refrenceEntry这是在中间多了一层valueReference
  • valueReference:如果是强引用,则直接保存对象的直接引用,当然也可以使用软引用的方法。

其实通过和CurrentHashMap最类比比较好理解,只不过guava缓存在其基础上增强了缓存过期的机制:

  1. 最大对象个数限制
  2. 超时机制
  3. 弱引用或者软引用

guava会oom吗

答案是肯定的,当我们设置缓存用不过期(或者很长),缓存的对象不限个数(或者很大),例如

Cache<String, String> cache = CacheBuilder.newBuilder()
        .expireAfterWrite(100000, TimeUnit.SECONDS)
        .build();

不断向guava加入缓存大字符串,最终将能oom,解决这种办法:

使用弱引用或者软应用

Cache<String, String> cache = CacheBuilder.newBuilder()
                .expireAfterWrite(1, TimeUnit.SECONDS)
                .weakValues().build();

guava在创建对象放到对应Segement中的时候,默认使用强引用(StrongValueReference.class),如果指定使用弱引用的时候,就会创建的是(WeakValueReference.class),参考guava cache基本框架可能更好理解。

合适最大容量

这个也是比较推荐的方法,根据业务需求,设置合适的缓存容量、这样超过容量以后,缓存就会按照LRU的方式回收缓存。

CacheBuilder.maximumSize(10)

guava缓存到期就会立即清除吗

guava清楚过期缓存的机制是什么,是单独使用线程来扫描吗?不是的,是在每次进行缓存操作的时候,如get()或者put()的时候,判断缓存是否过期。核心代码

void expireEntries(long now) {
  drainRecencyQueue(); //多线并发的情况下,防止误删access

  ReferenceEntry<K, V> e;
  while ((e = writeQueue.peek()) != null && map.isExpired(e, now)) {
    if (!removeEntry(e, e.getHash(), RemovalCause.EXPIRED)) {
      throw new AssertionError();
    }
  }
  while ((e = accessQueue.peek()) != null && map.isExpired(e, now)) {
    if (!removeEntry(e, e.getHash(), RemovalCause.EXPIRED)) {
      throw new AssertionError();
    }
  }
}

其中 writeQueue是保存按照写入缓存先后时间的队列,每次get或者put都可能触发触发这个方法。accessQueue同理,对应的是最后访问失效时间的功能。
因此可以看出,一个如果一个对象放入缓存以后,不在有任何缓存操作(包括对缓存其他key的操作),那么该缓存不会主动过期的。不过这种情况是极端情况下才会出现。

guava如何找出最久未使用的缓存

在上面也说到了,是用accessQueue,这个队列的实现比较复杂。这个队列其实是按照最久未使用的顺序存放的缓存对象(ReferenceEntry)的。由于会经常进行元素的移动,例如把访问过的对象放到队列的最后。ReferenceEntry这个在前面框架图里面说到了,使用来保存key-val的,其中接口包含一些特殊方法:

@Override
public ReferenceEntry<K, V> getNextInAccessQueue() {
  throw new UnsupportedOperationException();
}

@Override
public void setNextInAccessQueue(ReferenceEntry<K, V> next) {
  throw new UnsupportedOperationException();
}

@Override
public ReferenceEntry<K, V> getPreviousInAccessQueue() {
  throw new UnsupportedOperationException();
}

@Override
public void setPreviousInAccessQueue(ReferenceEntry<K, V> previous) {
  throw new UnsupportedOperationException();
}

这样通过ReferenceEntry就可以判断该entry的在accessQueue中的前后节点,如果该entry不在队列中,则返回一个NullEntry的对象。这样做的好处就弥补了 链表的缺点

  • 判断一个ReferenceEntry是否在队列中,只要判断该ReferenceEntry的前一个引用是否是NullEntry,不需要便利整个链表

并且可以很方便的更新和删除链表中的节点,因为每次访问的时候都可能需要更新该链表,放入到链表的尾部,这样,每次从access中拿出的头节点就是最久未使用的。 并且,如果按照访问时间来删除缓存的时候,只要从队列里找出第一个访问没有超时的对象,那么之前遍历的缓存都是应该删除的,这样就不需要遍历整个缓存的对象来判断。

对应的writeQueue用来保存最久未更新的缓存队列,实现方式和accessQueue一样。

总结

可以看出,guava缓存的原型是CurrentHashMap,在其基础上考虑如果判断缓存是否过期。底层的一些数据结构也是用的十分巧妙。如果能仔细的看看源码,相信对你也有一定的帮助

© 著作权归作者所有

共有 人打赏支持
lizo
粉丝 58
博文 39
码字总数 48903
作品 0
杭州
程序员
yii 框架简析

date: 2017-11-21 10:50:00 title: yii 框架简析 因为工作原因需要重拾 yii 框架, 而之前一直使用的 hyperframework -- 公司技术团队内部开发的框架, 需要什么服务, 直接往框架上添加即可. h...

daydaygo ⋅ 2017/11/21 ⋅ 0

【死磕Sharding-jdbc】—–路由&执行

原文作者:阿飞Javaer 原文链接:https://www.jianshu.com/p/09efada2d086 继续以模块中的为基础,剖析分库分表简单查询SQL实现--,即如何执行简单的查询SQL,接下来的分析以执行SQL语句为例...

飞哥-Javaer ⋅ 05/03 ⋅ 0

网络库Retrofit2原理简析

之前我们分析过了Okhttp这个优秀的网络请求库,但是在实际的使用时,还是会觉得有很多的不方便,你会发现它跟HttpUrlConnection,或者HttpClient一样,是一个比较底层的网络请求库,处理的是...

Ihesong ⋅ 2017/12/11 ⋅ 0

绝望的八皮/jfinal-ext

JFinal-Ext Introduction JFinal-Ext(简称JFE)是对java极速web框架JFinal(简称JF) (https://github.com/jfinal/jfinal) 的功能扩展,包含常用的自动model绑定,route注册,excel导入导出,图形报...

绝望的八皮 ⋅ 2014/10/15 ⋅ 0

【Vue】源码分析--vdom与html的相互转换

简析 vdom是由js对象节点组成的一个树状结构,通过diff算法对比js对象节点来更新,最后映射到原生的dom中 一个简单的dom结构 对应到js对象节点就是 代码实现 index.html vNode.js Github htt...

ns2250225 ⋅ 03/13 ⋅ 0

Guava库学习:学习Guava Files系列(二)

原文地址:Guava库学习:学习Guava Files系列(二) 上一篇,Guava库学习:学习Guava Files系列(一)中,我们简单的学习了使用Files进行文件的读写等常用操作,本篇我们继续进行Guava Files...

Realfighter ⋅ 2015/04/30 ⋅ 0

自省

就在前两天写完一部分Handler源码分析的文章后意识到了两个问题: 现在的学习进度太慢了,如果以这个速度下去定好的目标根本完不成。 我忘了来简书的初心,来简书不是来交朋友的,也不是为了...

吴七禁 ⋅ 2017/11/10 ⋅ 0

简析LayoutInflate工作流程

看完郭神的解析后,我打算做一些简单的总结。一开始了解到的东西是LayoutInflate,既然是源码分析,那就得先能查看源码,查看源码的方法是打开你的Android Studio点击File -》Setting -》搜索...

牛板腩天下第一 ⋅ 04/28 ⋅ 0

Linux中 /proc/[pid] 目录各文件简析

Linux中 /proc/[pid] 目录各文件简析 运维派2017-12-261 阅读 procLinux Linux 内核提供了一种通过 proc 文件系统,在运行时访问内核内部数据结构、改变内核设置的机制。proc […] 点赞 proc...

运维派 ⋅ 2017/12/26 ⋅ 0

仿百度文库 php 开源系统 - imzaker

php源码免费开源的,底层仍然是ThinkPHP框架,与easysns极简社区框架结构一致。 包含功能: 后台功能含:备份还原数据库,文档管理、轮播图管理等 前台功能含:悬赏、发布、文档下载及预览 ...

MTCEO开源社区 ⋅ 2017/11/07 ⋅ 7

没有更多内容

加载失败,请刷新页面

加载更多

下一页

zblog2.3版本的asp系统是否可以超越卢松松博客的流量[图]

最近访问zblog官网,发现zlbog-asp2.3版本已经进入测试阶段了,虽然正式版还没有发布,想必也不久了。那么作为aps纵横江湖十多年的今天,blog2.2版本应该已经成熟了,为什么还要发布这个2.3...

原创小博客 ⋅ 49分钟前 ⋅ 0

聊聊spring cloud的HystrixCircuitBreakerConfiguration

序 本文主要研究一下spring cloud的HystrixCircuitBreakerConfiguration HystrixCircuitBreakerConfiguration spring-cloud-netflix-core-2.0.0.RELEASE-sources.jar!/org/springframework/......

go4it ⋅ 今天 ⋅ 0

二分查找

二分查找,也称折半查找、二分搜索,是一种在有序数组中查找某一特定元素的搜索算法。搜素过程从数组的中间元素开始,如果中间元素正好是要查找的元素,则搜素过程结束;如果某一特定元素大于...

人觉非常君 ⋅ 今天 ⋅ 0

VS中使用X64汇编

需要注意的是,在X86项目中,可以使用__asm{}来嵌入汇编代码,但是在X64项目中,再也不能使用__asm{}来编写嵌入式汇编程序了,必须使用专门的.asm汇编文件来编写相应的汇编代码,然后在其它地...

simpower ⋅ 今天 ⋅ 0

ThreadPoolExecutor

ThreadPoolExecutor public ThreadPoolExecutor(int corePoolSize, int maximumPoolSize, long keepAliveTime, ......

4rnold ⋅ 昨天 ⋅ 0

Java正无穷大、负无穷大以及NaN

问题来源:用Java代码写了一个计算公式,包含除法和对数和取反,在页面上出现了-infinity,不知道这是什么问题,网上找答案才明白意思是负的无穷大。 思考:为什么会出现这种情况呢?这是哪里...

young_chen ⋅ 昨天 ⋅ 0

前台对中文编码,后台解码

前台:encodeURI(sbzt) 后台:String param = URLDecoder.decode(sbzt,"UTF-8");

west_coast ⋅ 昨天 ⋅ 0

实验楼—MySQL基础课程-挑战3实验报告

按照文档要求创建数据库 sudo sercice mysql startwget http://labfile.oss.aliyuncs.com/courses/9/createdb2.sqlvim /home/shiyanlou/createdb2.sql#查看下数据库代码 代码创建了grade......

zhangjin7 ⋅ 昨天 ⋅ 0

一起读书《深入浅出nodejs》-node模块机制

node 模块机制 前言 说到node,就不免得提到JavaScript。JavaScript自诞生以来,经历了工具类库、组件库、前端框架、前端应用的变迁。通过无数开发人员的努力,JavaScript不断被类聚和抽象,...

小草先森 ⋅ 昨天 ⋅ 0

Java桌球小游戏

其实算不上一个游戏,就是两张图片,不停的重画,改变ball图片的位置。一个左右直线碰撞的,一个有角度碰撞的。 左右直线碰撞 package com.bjsxt.test;import javax.swing.*;import j...

森林之下 ⋅ 昨天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部