文档章节

关于,数据库的异步操作的demo

sameLuo
 sameLuo
发布于 2014/11/19 23:10
字数 1415
阅读 100
收藏 0
点赞 0
评论 0

    在以往的项目中,我在对数据库进行修改操作时(cud),往往采用的是同步的方式,这种方式虽然很直观,但是当并发量达到一定的数目是,这种操作会很花费时间(想象一下,假如你的服务器1秒只能插入100条数据,但是现在每秒中却来了1000个插入请求)这时用户在页面进行操作时,响应时间会非常的长(可能会响应10多秒),严重影响了用户体验。这时候我们就可以采用异步的方式来“欺骗”用户(对,你没有看错,是欺骗哦。),达到优化的目的。

    让我们来看看以往的同步模型

    我们再以代码的方式模拟一下,下面的代码主要是开启5条线程向文件里面写入数据,来模拟客户端插入请求,为了模拟数据库插入困难,每次写入我们让线程睡眠5秒

package queue;

import java.io.FileNotFoundException;
import java.io.PrintWriter;
import java.util.Date;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
import java.util.concurrent.TimeUnit;
import java.util.concurrent.locks.Lock;
import java.util.concurrent.locks.ReentrantLock;

public class Sync implements Runnable{
	//线程锁
	public static Lock lock;
	//打印流,
	public static PrintWriter pw;
	
	static{
		lock = new ReentrantLock();
		try {
			pw = new PrintWriter("test.txt");
		} catch (FileNotFoundException e) {
			e.printStackTrace();
		}
	}
	//要写入的信息
	private String text;
	
	public Sync(String text) {
		this.text = text;
	}
	/**
	 * 插入操作
	 * <p>Title: insert</p>
	 * <p>Description: </p>
	 */
	public void insert(){
		try {
			lock.lock();
			pw.println(text);
			System.out.println("插入成功"+"time :"+new Date().toLocaleString());
			//睡眠5秒
			TimeUnit.SECONDS.sleep(5);
		} catch (Exception e) {
			e.printStackTrace();
		}finally{
			lock.unlock();
		}
	}
	
	@Override
	public void run() {
		this.insert();
	}
	
	public static void main(String[] args) {
		//创建5个线程,用于模拟并发
		ExecutorService es = Executors.newFixedThreadPool(5);
		for( int i=0;i<5;i++ ){
			es.execute(new Sync(i+"条数据"));
		}
		es.shutdown();
	}

}

    执行结果

    插入成功time :2014-11-19 22:51:28

    插入成功time :2014-11-19 22:51:33

    插入成功time :2014-11-19 22:51:38

    插入成功time :2014-11-19 22:51:43

    插入成功time :2014-11-19 22:51:48

    可以看到,当入库请求并发量很大时,同步插入所等待的时间非常的长,这样就会严重的影响用户体验。于是为了解决这个问题,我们就可以尝试使用异步的方式来进行数据插入。

    先让我们来看一下异步的模型

    异步插入的思想主要是,在得到客户端请求时,并不会将数据插入之后才响应客户端。而是将sql语句,与要用的参数打包,放进一个队列(queue)中,然后立即响应客户端。后台会有一个专门的模块(类似于sqlLoader)专门从队列中取数据,并进行插入。所以图中前面部分的1,2,3步,与后面的1,2,是同时进行的。这样就极大的提高了响应速度,但是也带来的一些问题,例如:你服务器在响应之后(也就是,客户端给出了“操作成功”),但是入库模块在入库是却出现了错误,导致数据没有插入进去。其次,这样做也会失去实时性 。

    下面就通过一段代码来演示一下:

import java.io.FileNotFoundException;
import java.io.PrintWriter;
import java.util.Date;
import java.util.concurrent.BlockingQueue;
import java.util.concurrent.ExecutionException;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
import java.util.concurrent.LinkedBlockingQueue;
import java.util.concurrent.TimeUnit;
import java.util.concurrent.locks.Lock;
import java.util.concurrent.locks.ReentrantLock;

public class Asyn implements Runnable{
	/*
	 * 用于存放要插入的数据
	 */
	public static BlockingQueue<String> queue;
	/*
	 * 线程锁
	 */
	public static Lock lock;
	
	public static PrintWriter pw;
	
	static{
		queue = new LinkedBlockingQueue<String>();
		lock= new ReentrantLock();
		try {
			pw = new PrintWriter("test.txt");
		} catch (FileNotFoundException e) {
			e.printStackTrace();
		}
	}
	
	public void insert(){
		try {
			lock.lock();
			String data = queue.take();
			pw.println(data);
			pw.flush();
			System.out.println("真正插入数据:"+data+" time:"+new Date().toLocaleString());
			//为了模拟插入吃力,睡眠5s
			TimeUnit.SECONDS.sleep(5);
		} catch (Exception e) {
			e.printStackTrace();
		}finally{
			lock.unlock();
		}
	}
	
	public static void main(String[] args) throws InterruptedException, ExecutionException {
		//模拟服务器讲sql请求放入队列后,立即响应客户端。
		for( int i=0;i<5;i++ ){
			queue.add(i+"条数据");
			System.out.println("我把数据"+i+
					"放进了队列,虽然数据没有真正插入,但我已经响应客户端了。 time:"+new Date().toLocaleString());
		}
		//模拟入库模块入库
		ExecutorService es = Executors.newSingleThreadExecutor();
		es.execute(new Asyn());
		
	}

	public void run() {
		while( true ){
			insert();
		}
	}

}

    执行结果如下:

    我把数据0放进了队列,虽然数据没有真正插入,但我已经响应客户端了。 time:2014-11-20 9:55:15

    我把数据1放进了队列,虽然数据没有真正插入,但我已经响应客户端了。 time:2014-11-20 9:55:15

    我把数据2放进了队列,虽然数据没有真正插入,但我已经响应客户端了。 time:2014-11-20 9:55:15

    我把数据3放进了队列,虽然数据没有真正插入,但我已经响应客户端了。 time:2014-11-20 9:55:15

    我把数据4放进了队列,虽然数据没有真正插入,但我已经响应客户端了。 time:2014-11-20 9:55:15

    真正插入数据:0条数据 time:2014-11-20 9:55:15

    真正插入数据:1条数据 time:2014-11-20 9:55:20

    真正插入数据:2条数据 time:2014-11-20 9:55:25

    真正插入数据:3条数据 time:2014-11-20 9:55:30

    真正插入数据:4条数据 time:2014-11-20 9:55:35

    通过上面的代码可以看到,我们在将插入请求放入队列之后,就立即响应客户端,而不去管数据是否真实插入与否。虽然这样有一定的风险(我们可以通过前端进行验证,减小这种风险),也市区了实时性,但在某些情况下不失为一个特别的优化手段。第一次写博客,可能语言描述不准确,图也画得不好,希望大家见谅。



© 著作权归作者所有

共有 人打赏支持
sameLuo
粉丝 5
博文 16
码字总数 17920
作品 0
成都
程序员
电霸儿/jupiter

jupiter jupiter是一个aio web框架,基于aiohttp。支持(restful格式、扫描注解、依赖注入、jinja2模板引擎、ORM框架)等。 核心组件介绍 1、jupiter_http(aio web框架) 介绍:基于aiohttp...

电霸儿 ⋅ 2017/09/17 ⋅ 0

node异步转同步,KO 恶魔金字塔

前言 Nodejs框架类库很多,功能相近的框架,本来只打算学一种写一种。之前写过流程控制框架windjs文章,本来是想着要支持一下“国人框架”。无奈啊,作者竟然放弃了维护,国人真的不靠谱啊!...

纯洁徐 ⋅ 2014/12/17 ⋅ 0

AOP之PostSharp3-MethodInterceptionAspect

在上两篇我们介绍了OnExceptionAspect和OnMethodBoundaryAspect ,在这节我们将继续了解MethodInterceptionAspect,他为我们提供了关于方法处理的AOP切入,不同于OnMethodBoundaryAspect,他...

zting科技 ⋅ 2017/01/10 ⋅ 0

Fourinone-4.15.08(四不像)新版本发布

CoolHash数据库引擎介绍: http://my.oschina.net/fourinone/blog/261295 4.15.08升级版主要增强了CoolHash以下功能: 1、为了方便在Tomcat等多线程服务器内调用,开通了CoolHash的多线程客户...

fourinone ⋅ 2015/08/24 ⋅ 8

Ajava攻城师/AjavaAndroidSample

简介 zftlive,顾名思义“曾繁添的生活”,我是一个追求技术的代码狂,我的生活很单纯,占据我大部分生活的是代码,在工作之余整理/沉淀自己所学、所能,一方面可以记录一下,方便日后使用、...

Ajava攻城师 ⋅ 2015/06/30 ⋅ 0

Netty之Future和ChannelFuture

Future,在Netty中所有的IO操作都是异步的,因此,你不能立刻得知消息是否被正确处理,但是我们可以过一会等它执行完成或者直接注册一个监听,具体的实现就是通过Future和ChannelFuture,他们...

秋风醉了 ⋅ 2014/06/12 ⋅ 0

JQuery Tree插件——zTree v2.6.03 发布

没想到居然真的能够每隔一个月发布一个补丁版本,不得不说 zTree 遗留下来的问题还是不少,不过也再次的感谢各位的支持,最近这两次发现的 Bug 都是热心的朋友们给我提供出来的。 另外,请放...

zTree ⋅ 2011/08/15 ⋅ 15

高性能异步网络框架和 WEB 服务器框架--Voovan

VOOVAN 开源框架 Voovan 是一个高性能异步网络框架和 HTTP 服务器框架,同时支持 HTTP 客户端抓取、动态编译支持、数据库访问封装以及 DateTime、String、Log、反射、对象工具、流操作、文件...

红薯 ⋅ 2015/05/06 ⋅ 12

Thinkphp使用jQuery File Upload异步上传图片实例教程(1):上传单张图片

图片上传是很多网站必备的功能之一,异步多图上传也是很多初学者比较头疼的问题。所以今天我们就使用比较热门的Thinkphp和jquery File upload插件完整的开发一个多图异步上传功能。 这篇文章...

星空幻颖 ⋅ 2017/02/12 ⋅ 0

RxJava2轻松入门

Demo地址 RxJava2Demo 本Demo旨在帮助从未接触过RxJava的同学直接入坑RxJava2,如丝般顺滑,万水千山总是情,留个star行不行? RxJava & RxAndroid (2.0版) 定义 RxJava – Reactive Exten...

沉默的范大叔 ⋅ 2017/02/20 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

【elasticsearch】 随笔 Date datatype

一。时间类型的本质 首先json是没有时间类型的,对于es来说,时间类型的标示可以是下面三种情况 1.一个时间格式的字符串,如:"2014-11-27T08:05:32Z","2015-01-01" or "2015/01/01 12:10:3...

xiaomin0322 ⋅ 24分钟前 ⋅ 0

阿里云资源编排ROS使用教程

阿里云资源编排ROS详细内容: 阿里云资源编排ROS使用教程 资源编排(Resource Orchestration)是一种简单易用的云计算资源管理和自动化运维服务。用户通过模板描述多个云计算资源的依赖关系、...

mcy0425 ⋅ 27分钟前 ⋅ 0

适配器设计模式

1、适配器模式 把一个类的接口变换成客户端所期待的另一种接口 使原本因接口不匹配而无法在一起工作的两个类能够在一起工作 分为类的适配器模式和对象的适配器模式 2、类适配器模式 类的适配...

职业搬砖20年 ⋅ 31分钟前 ⋅ 0

npm操作报错 _stream_writable.js:61

有一天 不知道什么原因(估计和node的版本有关),无论你做什么npm的操作 都会报错/usr/local/lib/node_modules/npm/node_modules/readable-stream/lib/_stream_writable.js:61 这时候只要执...

lilugirl ⋅ 34分钟前 ⋅ 0

Eclipse安装插件的几种方式

Eclipse魅力之一就是支持可扩展的插件,来丰富自身的功能,这种方式也是建立在开源思想之上的。具体使用什么方式去安装插件,要看我们拿到的是什么。 1. 拿到的是一串URL,如http://subclips...

GordonNemo ⋅ 37分钟前 ⋅ 0

div图片叠加

css实现代码如下: <div style="position: relative;"><!--这个层为外面的父层,需设置相对位置样式--> <div style="position: absolute;"><!--子层,需设置绝对位置样式--> <i......

niithub ⋅ 38分钟前 ⋅ 0

作用域slot

如果父组件需要使用子组件中的内容怎么办,比如父组件需要控制子组件的显示 <div id="root"><child><template slot-scope="props"><h1>{{props.item}} <div>编辑</div></h1><......

金于虎 ⋅ 41分钟前 ⋅ 1

HongHu commonservice-eureka 项目构建过程

上一篇我们回顾了关于 spring cloud eureka的相关基础知识,现在我们针对于HongHu cloud的eureka项目做以下构建,整个构建的过程很简单,我会将每一步都构建过程记录下来,希望可以帮助到大家...

明理萝 ⋅ 44分钟前 ⋅ 1

xml和对象的相互转化

@Data//setter和getter方法,toString和equals,hashcode方法@EqualsAndHashCode//代表重写equals和hashcode方法@XmlAccessorType(XmlAccessType.FIELD)public class Classroom {@X......

拐美人 ⋅ 44分钟前 ⋅ 0

tableView cell的高度 分组头部尾部的高度 自适应

@property (nonatomic) CGFloat rowHeight; // default is UITableViewAutomaticDimension@property (nonatomic) CGFloat sectionHeaderHeight; // default is UITableViewA......

娜一片蓝色星海 ⋅ 45分钟前 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部