文档章节

对Java线程池使用的总结

tanjunjie
 tanjunjie
发布于 2016/11/17 17:26
字数 767
阅读 1252
收藏 46

    最近的项目中,遇到了一些需要频繁使用sql查询,写入文件,可以拆分子任务的情况。为了提高程序吞吐量,我使用了线程池。

    一开始,考虑将用户按照数量进行分片,因为在数据库查询中,oracle对where in()有不得超过1000个查询量的限制,所以考虑将每900个用户分一片,每片为一个task,交给fix线程池处理。

    但是每个task又有查询优惠券和查询待评论数两个较大的子任务,这两个子任务需要大量的sql查询,于是又考虑将这两个子任务也封装为task,交给线程池处理。但因为主任务的执行依赖子任务的结果,如果使用同一个线程池,则子任务被提交后,work队列中被执行的任务还是主任务,cpu一直在先提交的主任务上等待Future.get()的返回,子任务得不到cpu资源去执行,一直在任务队列中等待,这将造成程序的死等待。所以将线程池由fix改为cache,希望提交的任务能得到cpu时间,不会一直在队列中等待。后来这里也引发了问题,将在下一篇文章中说明。

   当用户的账单数据被计算出来后,需要调用模板中心生成邮件,还需要将生成的邮件保存到磁盘上,这是两种不同的io密集型任务,一个是在socket上等待,一个是在本地io上等待。考虑到如果继续提交到cache线程池,那么线程池会为每个task生成一个线程,将耗费大量资源,cpu将频繁切换线程,降低了程序的吞吐量。因此新建一个fix线程池,将这些后续任务提交给fix线程池处理,线程池使用固定数量的work去跑,即能在不同阻塞情况下,让程序可以继续运行,也避免了创建大量thread的资源浪费。

    其实最后程序里用了五个线程池,分级使用的原因有以下考虑:

    为了提高程序执行效率,可以将用户先按照语言分类,然后再按照900人一片进行分片,每片任务中,又涉及到两个频繁查询数据库的子任务,每片处理完后,又需要进行网络io生产邮件和磁盘io保存邮件。如果用相同的线程池,则上级任务生产的子任务提交fix线程池后,因为work队列还在被上级任务占用,不同类型的io操作都将在task队列中等待,无法提高系统吞吐量。将下级任务提交到其他线程池后,下级任务就能有立即执行的机会,进行网络io和磁盘读写,提高了运行效率。

© 著作权归作者所有

共有 人打赏支持
tanjunjie
粉丝 10
博文 5
码字总数 2792
作品 0
成都
私信 提问
Java并发编程之ThreadLocal内存泄漏探究

使用 ThreadLocal 不当可能会导致内存泄露,是什么原因导致的内存泄漏呢? 我们首先看一个例子,代码如下: / Created by cong on 2018/7/14. */public class ThreadLocalOutOfMemoryTest { ...

狂小白
2018/07/14
0
0
Java并发编程笔记之ThreadLocal内存泄漏探究

使用 ThreadLocal 不当可能会导致内存泄露,是什么原因导致的内存泄漏呢? 我们首先看一个例子,代码如下: / Created by cong on 2018/7/14. */public class ThreadLocalOutOfMemoryTest { ...

狂小白
2018/07/14
0
0
ThreadLocal 类 的源码解析以及使用原理

1、原理图说明      首先看这一张图,我们可以看出,每一个Thread类中都存在一个属性 ThreadLocalMap 成员,该成员是一个map数据结构,map中是一个Entry的数组,存在entry实体,该实体包...

小勇DW3
2018/08/13
0
0
深入源码分析Java线程池的实现原理

程序的运行,其本质上,是对系统资源(CPU、内存、磁盘、网络等等)的使用。如何高效的使用这些资源是我们编程优化演进的一个方向。今天说的线程池就是一种对CPU利用的优化手段。 网上有不少...

Java填坑之路
2018/10/11
0
0
JVM 虚拟机(对象创建,类加载器,执行引擎等),

1.揭开 Java 对象创建的奥秘? 2.class 文件结构详解? 3.详解 Java 类的加载过程? > Java 对象创建,class 文件结构 Java对象模型 。Java对象保存在堆内存中。在内存中,一个Java对象包含三...

desaco
2018/08/29
0
0

没有更多内容

加载失败,请刷新页面

加载更多

eclipse中项目svn转gitLab全过程

在工作中,我们可能会遇到项目从svn迁移到gitLab;此过程我们需要变化版本管理工具,上传代码。本篇博客记录了使用spring tool suit(sts/eclipse)进行项目迁移的全过程。 步骤: (1)端口之...

em_aaron
30分钟前
0
0
scala学习(一)

学习Spark之前需要学习Scala。 参考学习的书籍:快学Scala

柠檬果过
42分钟前
1
0
通俗易懂解释网络工程中的技术,如STP,HSRP等

导读 在面试时,比如被问到HSRP的主备切换时间时多久,STP几个状态的停留时间,自己知道有这些东西,但在工作中不会经常用到,就老是记不住,觉得可能还是自己基础不够牢固,知识掌握不够全面...

问题终结者
昨天
4
0
看了一下Maven的内容

了解了Maven其实是一个跨IDE的标准构建工具,能推广的原因估计是借了仓库的便利。 另一个作用是可以通过Maven的功能在社区版的IDEA去创建Web项目,下次实践看看

max佩恩
昨天
5
0
day27:expect批量杀进程|

1、linux下当前目录有一个文件ip-pwd.ini,内容如下: [root@localhost_002 shell100]# cat ip-pwd.ini 10.111.11.1,root,xyxyxy10.111.11.2,root,xzxzxz10.111.11.3,root,12345610.......

芬野de博客
昨天
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部