文档章节

dbcp重连问题排查

 如月王子
发布于 2015/02/09 14:29
字数 1877
阅读 46
收藏 0

使用数据库连接池时,免不了会遇到断网、数据库挂掉等异常状况,当网络或数据库恢复时,若无法恢复连接池中的连接,那必然会是一场灾难。

关于dbcp的自动重连配置,网上相关的资料也不少,通过以下资料,并对照官方文档中的参数说明,大致能了解各项配置的含义,我就不冗诉了,本文的目的主要是对问题排查的经过做个简单的记录。
参考资料:


测试环境:

  • dbcp版本——1.4

  • 数据库——postgresSQL 9.10(简称pg)

  • 本地(以下称为client)操作系统及数据库服务器(以下称为server)操作系统均为linux

  • server位于内网环境,client需要通过vpn或网线直连内网才能访问数据库


首先模拟的是断网的情况
在本地测试dbcp的重连配置时,发现断网后,连接池无法重建连接,分别试过testOnBorrow和testWhileIdle两种validate方式,都没能解决,现象如下:
1. 正常启动应用,在server端通过"select * from pg_stat_activity"查看连接数,会有initialSize个来自client的IDLE连接。——正常
2. 在client端执行各种查询操作,连接数保持不变,且在server端的db log中能看到validate query。——正常
3. 手动切断vpn,client与server断开,查询无法返回结果;然后重连,再次查看连接数,连接数仍保持不变,且连接的创建时间为断网前,即是说连接池认为之前的连接仍然有效,没有销毁旧连接&创建新连接。
4. 此时在应用中执行各种查询操作,均无响应,等待一段时间后(分钟级),超时抛出异常:
Caused by: org.postgresql.util.PSQLException: An I/O error occured while sending to the backend.
Caused by: java.net.SocketException: Connection timed out.
5. 继续通过"select * from pg_stat_activity"查看连接数,隔一段时间后,连接消失。

问题:断网后,仍留在线程池内的连接是否有效?若有效,为什么网络恢复后查询无响应?若无效,为何线程池没有发现并重新创建有效连接?
排查过程:
1.重连vpn后,通过netstat查看client至server的连接

sudo netstat -antop | grep :5432  | grep java


注:5432为pg端口,grep java是为了过滤client上的其他形式的连接。
发现连接数和在server端看到的连接数一致,且均为ESTABLISH状态。
2. 但在client上执行查询时,通过tcpdump查看client发往server的tcp请求,并无任何请求产生。

sudo tcpdump -s 65535 -X -i eth0 host xxx.xxx.xxx


可见当前线程池中的连接实际上已经失效了,但dbcp仍认为它是有效的,因此仍在尝试用旧连接访问数据库,直至网络超时。

于是,开始怀疑是vpn的问题,将client接上网线直连内网后,再次重试上述步骤,只是把断网的方式由切断vpn换成了拔网线,发现这次使用断网前的连接能够正常访问数据库,于是断定是vpn的问题,猜测是重连vpn后,虽然client端ip没有变,但路由的路径已经变了,之前的连接无法复用,但dbcp并不知道。对网络细节不是太熟悉,就不多加揣测了。

接下来模拟数据库断开client连接的情况
由于pg采用的是进程模型,与数据库建立的每一个连接都是单独的一个进程,故尝试采用kill进程的方式模拟数据库断开连接。
预期的结果是:kill掉一个连接进程后,dbcp通过validate query发现该连接失效,将销毁该连接并重新创建新连接。
但实际情况确是:kill掉一个连接后,所有连接全部被销毁。
问题:究竟是数据库还是dbcp销毁了所有连接?
排查过程:
熟悉pg的同事认为pg之所以采用进程模型,就是为了避免连接之间的影响,因此不可能发生kill一个连接,其他连接也被销毁的情况。在这个理论前提下,问题就变得很诡异,因为dbcp的validate肯定是针对一个连接的,也不可能会在validate一个连接失效的情况下销毁所有连接,于是越想越偏,甚至开始怀疑是pg的jdbc driver有问题,最终放弃了深究。
但我总觉得有点不太对劲,于是推翻之前的前提,开始怀疑是pg销毁了所有连接。于是,在使用连接池的应用之外,通过pg的数据库客户端psql连接db,这就建立了一个与dbcp无关的连接,接着继续在server端kill了一个连接池中的连接,继而发现psql创建的连接也被销毁了,这就能确定是pg在销毁连接,因为dbcp不可能控制自身范围之外的连接。
后来才知道,pg之所以会这么做,是因为我们kill连接时使用的是kill -9(简称9杀),9杀太过粗暴,pg会重启很多内部进程,以保证所有进程正常,之前的连接也将会丢失,换用普通的kill命令,则不会发生以上情况。可见9杀很多情况下是十分危险的,试想一个线上db,若是9杀一个连接,后果不堪设想。。。

总结
说是dbcp问题排查,但大家可以看到最终问题的根源都跟dbcp没有什么关系。实际工作中的很多问题,关联的因素众多,需要有各方面的知识储备才能找到真正问题根源,否则就会把问题归结到一个自己不太了解的领域。
另外,看到 dbcp基本配置和重连配置这篇文章中对连接池重连有两句不错的总结,引用一下:

引用

1. 数据库意外重启后,原先的数据库连接池能自动废弃老的无用的链接,建立新的数据库链接
2. 网络异常中断后,原先的建立的tcp链接,应该能进行自动切换



最后附上测试使用的dbcp配置。
testOnBorrow配置:

<bean id="dataSource" class="org.apache.commons.dbcp.BasicDataSource" destroy-method="close">
    <property name="driverClassName" value="${jdbc.driver}" />
    <property name="url" value="${jdbc.url}"/>
    <property name="username" value="${jdbc.user}" />
    <property name="password" value="${jdbc.passwd}" />
    <property name="removeAbandoned" value="true"/>
    <property name="initialSize" value="10" />
    <property name="maxIdle" value="10" />
    <property name="minIdle" value="10" />
    <property name="maxActive" value="30" />
    <property name="maxWait" value="30000" />
    <property name= "testWhileIdle" value="false" />
    <property name= "testOnBorrow" value="true" />
    <property name= "testOnReturn" value="false" />
    <property name= "validationQuery" value="select 1" />
    <!-- <property name= "validationQueryTimeout" value="1" /> 配置已失效-->
</bean>




testWhileIdle配置:

<bean id="dataSource" class="org.apache.commons.dbcp.BasicDataSource" destroy-method="close">
    <property name="driverClassName" value="${jdbc.driver}" />
    <property name="url" value="${jdbc.url}"/>
    <property name="username" value="${jdbc.user}" />
    <property name="password" value="${jdbc.passwd}" />
    <property name="removeAbandoned" value="true"/>
    <property name="initialSize" value="10" />
    <property name="maxIdle" value="10" />
    <property name="minIdle" value="10" />
    <property name="maxActive" value="30" />
    <property name="maxWait" value="30000" />
    <property name= "testWhileIdle" value="true" />
    <property name= "testOnBorrow" value="false" />
    <property name= "testOnReturn" value="false" />
    <property name= "validationQuery" value="select 1" />
    <!-- <property name= "validationQueryTimeout" value="1" /> 配置已失效-->
    <property name= "timeBetweenEvictionRunsMillis" value="30000" />
    <property name= "numTestsPerEvictionRun" value="30" />
    <property name="minEvictableIdleTimeMillis" value="1800000" />
</bean>



注:testOnBorrow只会发现当前连接失效,再创建一个连接供当前查询使用,而testWhileIdle会定时校验numTestsPerEvictionRun个连接,只要发现连接失效,就将其移除再重新创建。

本文转载自:http://lc87624.iteye.com/blog/1734089

共有 人打赏支持
粉丝 15
博文 177
码字总数 3194
作品 0
淮安
私信 提问
Druid连接池优点和原理

1、之前用C3P0,DBCP,会出现数据库无法重连的问题,换成druid就好了,为什么呢? 2、druid更高效,更强大,扩展性更好,体现在什么上? 3、如何实现如此高效的连接池,较之c3p0,dbcp改进了...

范某某
2016/10/05
2.6K
4
JDBC连接超时问题

这两天遇到一个问题,早上来了登录我们的项目网站第一次登录总是登不上去,第二次就好了,我看了一下后台的报错信息是这样的: The last packet successfully received from the server was ...

Trigl
2016/07/28
0
0
zookeeper 大量连接断开重连原因排查

问题现象 最后发现线上的zookeeper的日志zookeeper.out 文件居然有6G,后来设置下日志为滚动输出,参考: http://blog.csdn.net/hengyunabc/article/details/19006911 但是改了之后,发现一天...

横云断岭
2014/11/24
0
0
Mysql Broken Pipe,长久折磨的结痂

部署的时候碰见mysql broken pipe的问题,报的异常是java.net.SocketException: Broken pipe,原因是mysql自动关闭了长时间未使用的连接。 在一段比较长的时间都没有解决,网上一直找不到好的...

熊二哈
2011/11/04
0
0
jfinal初始化数据库时:Config already exists....的小BUG

数据库初始化过程中先执行: DbKit类里的addConfig(Config config)方法,里面的代码片段: public static void addConfig(Config config) { if (config == null) throw new IllegalArgumentEx......

ohaozy
2015/01/27
1K
7

没有更多内容

加载失败,请刷新页面

加载更多

技术复习-Spring事务

spring事务 1.事务传播机制 在spring中事务存在嵌套的情况,在这种情况下事务如何协调,spring在TransactionDefinition中设了七个规则,被称作事务的传播机制 1.TransactionDefinition.PROP...

Lubby
22分钟前
1
0
linux 虚拟机安装

一、虚拟化检查 1. 检查cpu是否支持 grep -E 'vmx|svm' /proc/cpuinfo 2. 检查虚拟化是否开启 lsmod |grep kvm 显示内容与截图一致,服务器已经开启了虚拟化的支持,如果没有前2条内容,...

小儿
22分钟前
2
0
Linux之系统日志简介

前言 日志在排查文件的时候至关重要,在Linux上一般跟系统相关的日志默认都会放到/var/log下面。 1、/var/log/boot.log 一般包含系统启动时的日志,包括自启动的服务。 2、/var/log/btmp 记录...

城市之雾
22分钟前
1
0
Android数据存储2 文件存储

1.内部存储(私有的,其他程序不能获取) a. 存:FileOutputStream fos = openFileOutput("file", MODE_PRIVATE); 读: FileInputStream fis = openFileInput("file"); 文件路径:data/data/当......

Coding缘
22分钟前
1
0
23种设计模式全解析

一、设计模式的分类 总体来说设计模式分为三大类: 创建型模式,共五种:工厂方法模式、抽象工厂模式、单例模式、建造者模式、原型模式。 结构型模式,共七种:适配器模式、装饰器模式、代理...

嘿嘿嘿IT
23分钟前
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部