文档章节

本地缓存的实现以及遇到的问题

爱吃大肉包
 爱吃大肉包
发布于 2017/02/27 16:45
字数 1090
阅读 116
收藏 1

先分享下我基于MAP实现的一个本地缓存

package org.hjb.component;

import java.lang.ref.SoftReference;
import java.util.Map;
import java.util.concurrent.ConcurrentHashMap;
import java.util.concurrent.TimeUnit;

import org.apache.logging.log4j.LogManager;
import org.apache.logging.log4j.Logger;

/**
 * 本地缓存
 * 
 * 何锦彬 2017.02.24
 */
public class LocalMemory {

	// 数据
	static class CacheData {

		// 过期时间
		private Long invalidTime;

		private Object data;

		public Long getInvalidTime() {
			return invalidTime;
		}

		public void setInvalidTime(Long invalidTime) {
			this.invalidTime = invalidTime;
		}

		public Object getData() {
			return data;
		}

		public void setData(Object data) {
			this.data = data;
		}
	}

	private static Logger logger = LogManager.getLogger(LocalMemory.class);

	// 存储本地缓存数据.用软引用避免OutOfMemoryError
	static Map<String, SoftReference<CacheData>> localData = new ConcurrentHashMap<String, SoftReference<CacheData>>();

	public static final int MAX_SIZE = 10000;

	public static final int WARN_VALUE = 8000;

	/**
	 * @param key
	 *            缓存KEY
	 * @param value
	 *            缓存数据
	 * @param timeOut
	 *            超时时间,单位秒
	 */
	public static void put(String key, Object value, Long timeOut) {

		if (localData.size() >= WARN_VALUE) {
			logger.warn("注意:本地缓存已经达到临界值,size:" + localData.size());
		}
		if (localData.size() > MAX_SIZE) {
			logger.error("超出最大值:" + localData.size());
			return;
		}
		CacheData cacheData = new CacheData();

		long now = System.currentTimeMillis();
		long invalidTime = now + (timeOut * 1000);
		cacheData.setData(value);
		cacheData.setInvalidTime(invalidTime);
		SoftReference<CacheData> refCacheData = new SoftReference<CacheData>(cacheData);
		localData.put(key, refCacheData);

	}

	public static final Object get(String key) {
		SoftReference<CacheData> referenceData = localData.get(key);
		if (referenceData == null) {
			logger.debug("未找到数据,key => {}", key);
		}
		CacheData cacheData = localData.get(key).get();
		if (cacheData == null) {
			logger.debug("未找到数据,key => {}", key);
		}
		Long invalidTime = cacheData.getInvalidTime();
		if (invalidTime == null) {
			return null;
		}
		long now = System.currentTimeMillis();
		if (now > invalidTime) {
			// 清除缓存
			localData.remove(key);
			return null;
		}
		return cacheData.getData();
	}

	public static void put(String key, Object value, long time, TimeUnit unit) {
		put(key, value, unit.toSeconds(time));
	}

	public static void main(String[] args) throws InterruptedException {
		String key = "test";
		Object value = "hello world";
		LocalMemory.put("test", value, 1l);
		System.out.println(LocalMemory.get(key));
		Thread.sleep(2000);
		System.out.println(LocalMemory.get(key));
	}

}

 


本地缓存 

优势: 

1,易用,只是比map多了个过期时间,有超时的概念 
2,用软引用,可防止对JVM的堆对象造成out memory 

3, 相对集中缓存不需要进行网络开销,消除RPC
 

 

缺点: 
1,用的是堆内存。会对JVM的垃圾回收造成影响 
2,大小控制只能是通过KEY值的存储数量控制,无法通过控制内存占用大小 
3,缺少监控方面的设计 
4,没有缓存的移除,定期清除失效缓存 
5,缓存穿透的问题,当缓存失效时间时,大量访问到了缓存的传统,压到数据库去了 

 

对于3,4问题可以用google的guava

对于1,ehcache可以用JAVA的直接内存. 

对于直接内存这部分不好实现,JAVA只提供了个ByteBuffer.allocateDirect(capacity)的方法去应用直接内存,也就意味着要存入直接内存必须先把整个对象序列号成byte再放入直接内存。

但这样每次都需要序列号与反序列化的开销,而且得全量加载的堆内存引起垃圾回收。ehcache有直接用native方法实现

 

踩过的坑:

 

缓存失效

当缓存出现失效, 瞬间大量访问压到了DB,造成DB的压力

 

解决:

1,不用失效时间来触发缓存的更新

1, 后台定时刷新最新内容到本地缓存,不依靠失效时间来触发。

2, 结合广播通知模式(如 redis)+本地缓存更新进行更新缓存,而不是通过失效来触发(目前系统主要就是这个模式,待加上案例分享)

当然,两种进行结合效果更好,

WEB服务器不停监控redis的访问,同时定时轮询,覆盖缓存中的内容

 

2,通过控制进入DB操作的线程数进行控制

       如,  通过重入锁的,tryLock的condition,condition,阻塞超时方法,通知等进行控制(待加上案例分享)

 

缓存穿透

当访问不存在的KEY时,一直传入到数据库层面去,压到DB,造成DB的压

 

解决:

1, 添加计数器,如当一个KEY的次数达到了10次后, 在缓存总加入该KEY,进行null的返回

2, 是否符合KEY的规则 + Bloom Filter, 用redis的bitmap存数组,对已存在的值进行hash存入(如果是ID,直接存,不需要hash,准确率100%)。  如果访问的有bit位置为0的,必定不存在

 

返回同一对象地址

本地缓存读取后的修改,会相互影响的问题

解决:

如果需要修改,返回对象需要进行深度clone

 

欢迎关注我的公众号,重现线上各种BUG, 一起来构建我们的知识体系

 

 

© 著作权归作者所有

共有 人打赏支持
爱吃大肉包
粉丝 61
博文 38
码字总数 34691
作品 0
广州
程序员
私信 提问
网易严选的wkwebview测试之路

本文来自网易云社区 作者:孙娇 UIWebView是苹果继承于UIView封装的一个加载web内容的类,它可以加载任何远端的web数据展示在你的页面上,你可以像浏览器一样前进后退刷新等操作。不过苹果在i...

网易云
09/20
0
0
Zookeeper 通知更新可靠吗? 解读源码找答案!

欢迎大家前往腾讯云+社区,获取更多腾讯海量技术实践干货哦~ 本文由特鲁门发表于云+社区专栏 导读: 遇到Keepper通知更新无法收到的问题,思考节点变更通知的可靠性,通过阅读源码解析了解到...

腾讯云加社区
10/09
0
0
[Android源码解析] 清空应用内部文件缓存

版权声明:本文为博主原创文章,转载请标明出处。 https://blog.csdn.net/lyhhj/article/details/47911191 Android应用中加载的图片以及一些数据缓存怎么清掉呢?最近在做项目中遇到了这个问...

进阶的玄武
2015/08/23
0
0
【.NET Core项目实战-统一认证平台】第五章 网关篇-自定义缓存Redis

【.NET Core项目实战-统一认证平台】开篇及目录索引 上篇文章我们介绍了2种网关配置信息更新的方法和扩展Mysql存储,本篇我们将介绍如何使用Redis来实现网关的所有缓存功能,用到的文档及源码...

金焰的世界
11/14
0
0
PhoneGap 与 Application Cache应用缓存

一个想法 在研究 PhoneGap 的时候一直在想一个问题,怎么提高移动网络下的网络性能?特别是静态文件,多次加载完全是浪费。 HTTP 协议中控制缓存也比较纠结,总会有个 304 请求,而且各种协议...

Java编程思想
2014/07/24
0
0

没有更多内容

加载失败,请刷新页面

加载更多

zookeeper配置与使用

一.登录官网下载 不要带后缀的,那是公侧版本,下稳定版,比如3.4.9 二.安装与使用 解压后bin里是启动程序 配置文件:在conf下 复制zoo_sample.cfg改名为为zoo.cfg,打开zoo修改文件...

小兵胖胖
33分钟前
2
0
spring源码阅读笔记(一)

ClassPathXmlApplicationContext 与 FileSystemXmlApplicationContext 用了这么久的框架,是时候搞一下源码了,一般最初接触spring 从以下步骤开始 创建一个bean类 并创建 ooxx.xml之类的spr...

NotFound403
56分钟前
4
0
MySQL主从配置

12月14日任务 17.1 MySQL主从介绍 17.2 准备工作 17.3 配置主 17.4 配置从 17.5 测试主从同步 MySQL主从介绍 MySQL主从又叫做Replication、AB复制。简单将就是A/B两个服务器做主从后,在A上写...

robertt15
59分钟前
12
0
我的Linux系统九阴真经

在今天,互联网的迅猛发展,科技技术也日新月异,各种编程技术也如雨后春笋一样,冒出尖来了。各种创业公司也百花齐放百家争鸣,特别是针对服务行业,新型互联网服务行业,共享经济等概念的公...

问题终结者
今天
22
0
Java 使用 gson 对 json 根据 key 键进行排序

引入Google的gson jar <dependency> <groupId>com.google.code.gson</groupId> <artifactId>gson</artifactId> <version>2.8.0</version>......

yh32
今天
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部