文档章节

高并发思路

caiyongji
 caiyongji
发布于 2017/05/30 11:26
字数 1108
阅读 3
收藏 0

服务器性能、数据库性能、网络连接甚至编程语言都会影响并发数。但总结起来,高并发无非就是拆拆拆分分分

乐观锁

乐观锁是数据库优化的典范。即,通过对数据条目的“版本控制”,来约束数据,防止脏读写操作。在实际操作中并不独占资源。在设计思路上是通过引入“版本”概念来放弃资源约束。
举例:
数据库中设置CREATE TABLE tbl ( id varchar(32) , /** 乐观锁字段 **/ optimistic_lock numeric(12) )
java中使用spring @version 关键字,

@Version
@Column(name = "optimistic_lock", columnDefinition = "INTEGER")
private long optimisticLock;

读写分离

数据库中的读写分离知识数据库集群的一种典型。并不一定需要按读写分离数据库,也可以根据特定的业务逻辑来进行分开操作。
我们以读写分离举例:
通常设计两个数据库master和slave数据服务器,在spring中配置两个datasource

<!-- 定义数据源,使用自己实现的数据源 -->
<bean id="dataSource" class="cn.itcast.usermanage.spring.DynamicDataSource">
<!-- 设置多个数据源 -->
<property name="targetDataSources">
<map key-type="java.lang.String">
<!-- 这个key需要和程序中的key一致 -->
<entry key="master" value-ref="masterDataSource"/>
<entry key="slave" value-ref="slave01DataSource"/>
</map>
</property>
<!-- 设置默认的数据源,这里默认走写库 -->
<property name="defaultTargetDataSource" ref="masterDataSource"/>
</bean>

 

并在dao层调用时进行读写分别调用。
为保证master/slave服务器的数据一致性,两个服务器间会有同步。

分离resource存储

我们以图片分离存储为例,在web场景中,页面加载的图片是非常消耗资源的,通常我们会放在其他的服务器上来进行存储,针对图片资源进行优化加速。这就像是java编程理念中的“解耦”。
同理,js文件、css文件、zip文件等皆可通过这种方式进行分离,再配合CDN加速技术,实现访问速度和并发能力的提升。

CDN加速

CDN加速就是在靠近用户的物理位置上架设服务器,根据就近原则使用户访问物理上最近的服务器来节省网络传输时间。
通常这种CDN加速的服务器分散到全国设置世界各地,并适当采用的缓存、专线等技术。
为保证数据的一致性,服务器间进行同步。

动态转静态

我们把一次HTTP请求的时间分成几段:request--> calculate--> response,那么静态资源简化甚至省略了calculate步骤,实现请求-->响应的简单模型。
我们可以将“幂等”的请求进行静态化处理。我们举例来理解这件事:
比如用户想快速的查询自己近一个月的交易总额,按照传统模式我们需要服务器在用户查询后进行累加计算来统计用户这一个月的交易数据。那么我们可以在每天凌晨运行一次spring batch 来统计所有用户的交易总额信息,并存储在用户对应的表里,当用户查询时,直接获取。

缓存

缓存可以理解为动态转静态的一个实例。也可以理解为将硬盘上的数据存入内存方便读取。通常设计为key-value形式。
以常用的memcache举例:

MemCachedClient mc = new MemCachedClient();
String key = "cacheKey1";
Object value = SomeClass.getObject();
mc.set(key, value);

 

服务器镜像

与CDN加速的设计类似,根据不同地域、网络服务商等网络条件假设多个服务器的“镜像”来实现网络传输环节的优化。
以此我们可以引出“负载均衡”。

负载均衡

负载均衡的设计理念是根据资源请求消耗情况来自动调节平衡。
比如我们在多个端口配置启动tomcat:

<Connector port="11009" protocol="AJP/1.3" redirectPort="8443" /><Engine name="Catalina" defaultHost="localhost" jvmRoute="tomcat1"><Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster"/>

<Connector port="12009" protocol="AJP/1.3" redirectPort="8443" /><Engine name="Catalina" defaultHost="localhost" jvmRoute="tomcat2"><Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster"/>

 

其他

  1. 分库、分表
  2. 合理的Synchronized
  3. 基本的SQL优化,比如尽量避免全表扫描

我个人理解的高并发就是,把传统的“单元操作”进行拆分,分的越细致越好。

© 著作权归作者所有

共有 人打赏支持
caiyongji
粉丝 6
博文 21
码字总数 24848
作品 0
大连
高级程序员
私信 提问
怎么防止多用户同一时间抢购同一商品,防止高并发同时下单同一商品,大牛们献出你们所积累的知识吧?请教

最近在做抢购系统,但头疼的是,在多用户高并发的情况下经常会库存出现问题。排查到,在同一时间内多用户同时下单导致查询和插入不同步了,而查询中跟插入又有时间差而在高并发的情况下导致库...

键盘浪人
2014/12/25
13.3K
10
架构师必备技能之Netty 高并发 UTS 项目实战

一、Netty Netty是由JBOSS提供的一个java开源框架。Netty提供异步的、事件驱动的网络应用程序框架和工具,用以快速开发高性能、高可靠性的网络服务器和客户端程序。 也就是说,Netty 是一个基...

A尚学堂Nancy老师
08/27
0
0
求海量数据存储解决方案

问题: 1、10亿条记录以上。 2、高并发访问,一台服务器会出现瓶颈。 3、必须满足高并发下的高效查询速度。 求思路

方旭
2011/12/12
1K
21
《实战Java高并发程序设计》问答录,看这些问题解决你所有java并行难题

为大家解答关于 Java 的并行程序设计基础、思路、方法和实战 方面的问题。如: 现在的服务器 CPU 可能多达 10 个以上的内核,并发编程市场需求量激增,如何才能将多核 CPU 的性能发挥到极致呢...

吴小编
2016/01/22
308
0
海量分布式事务的处理策略

最近很好奇,在分布式事务的情况下,如何解决高并发的问题? 今天面试,一个人问我,如何解决高并发的分布式事务处理,我按照我之前干活的经验,认为用消息队列做写入缓冲,用二端提交和串联...

Brin想写程序
2015/04/17
7.9K
28

没有更多内容

加载失败,请刷新页面

加载更多

OSChina 周二乱弹 —— 其实我在地板也睡不着

Osc乱弹歌单(2018)请戳(这里) 【今日歌曲】 @witt-z :分享歌词: 阴天 在不开灯的房间,当所有思绪都一点一点沉淀。 分享莫文蔚的单曲《阴天》: 《阴天》- 莫文蔚 手机党少年们想听歌,...

小小编辑
8分钟前
9
3
微服务分布式事务实现

https://www.processon.com/view/link/5b2144d7e4b001a14d3d2d30

WALK_MAN
今天
3
0
《大漠烟尘》读书笔记及读后感文章3700字

《大漠烟尘》读书笔记及读后感文章3700字: 在这个浮躁的社会里,你有多久没有好好读完一本书了? 我们总觉得自己和别人不一样,所以当看到别人身上的问题时,很少有“反求诸己”,反思自己。...

原创小博客
今天
4
0
大数据教程(9.5)用MR实现sql中的jion逻辑

上一篇博客讲解了使用jar -jar的方式来运行提交MR程序,以及通过修改YarnRunner的源码来实现MR的windows开发环境提交到集群的方式。本篇博主将分享sql中常见的join操作。 一、需求 订单数据表...

em_aaron
今天
3
0
十万个为什么之什么是resultful规范

起源 越来越多的人开始意识到,网站即软件,而且是一种新型的软件。这种"互联网软件"采用客户端/服务器模式,建立在分布式体系上,通过互联网通信,具有高延时(high latency)、高并发等特点...

尾生
今天
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部