使用数据库连接池时,免不了会遇到断网、数据库挂掉等异常状况,当网络或数据库恢复时,若无法恢复连接池中的连接,那必然会是一场灾难。
关于dbcp的自动重连配置,网上相关的资料也不少,通过以下资料,并对照官方文档中的参数说明,大致能了解各项配置的含义,我就不冗诉了,本文的目的主要是对问题排查的经过做个简单的记录。
参考资料:
测试环境:
- dbcp版本——1.4
- 数据库——postgresSQL 9.10(简称pg)
- 本地(以下称为client)操作系统及数据库服务器(以下称为server)操作系统均为linux
- server位于内网环境,client需要通过vpn或网线直连内网才能访问数据库
首先模拟的是断网的情况 在本地测试dbcp的重连配置时,发现断网后,连接池无法重建连接,分别试过testOnBorrow和testWhileIdle两种validate方式,都没能解决,现象如下:
1. 正常启动应用,在server端通过"select * from pg_stat_activity"查看连接数,会有initialSize个来自client的IDLE连接。——正常
2. 在client端执行各种查询操作,连接数保持不变,且在server端的db log中能看到validate query。——正常
3. 手动切断vpn,client与server断开,查询无法返回结果;然后重连,再次查看连接数,连接数仍保持不变,且连接的创建时间为断网前,即是说连接池认为之前的连接仍然有效,没有销毁旧连接&创建新连接。
4. 此时在应用中执行各种查询操作,均无响应,等待一段时间后(分钟级),超时抛出异常:
Caused by: org.postgresql.util.PSQLException: An I/O error occured while sending to the backend.
Caused by: java.net.SocketException: Connection timed out.
5. 继续通过"select * from pg_stat_activity"查看连接数,隔一段时间后,连接消失。
问题:断网后,仍留在线程池内的连接是否有效?若有效,为什么网络恢复后查询无响应?若无效,为何线程池没有发现并重新创建有效连接?
排查过程: 1.重连vpn后,通过netstat查看client至server的连接
- sudo netstat -antop | grep :5432 | grep java
注:5432为pg端口,grep java是为了过滤client上的其他形式的连接。 发现连接数和在server端看到的连接数一致,且均为ESTABLISH状态。
2. 但在client上执行查询时,通过tcpdump查看client发往server的tcp请求,并无任何请求产生。
- sudo tcpdump -s 65535 -X -i eth0 host xxx.xxx.xxx
可见当前线程池中的连接实际上已经失效了,但dbcp仍认为它是有效的,因此仍在尝试用旧连接访问数据库,直至网络超时。
于是,开始怀疑是vpn的问题,将client接上网线直连内网后,再次重试上述步骤,只是把断网的方式由切断vpn换成了拔网线,发现这次使用断网前的连接能够正常访问数据库,于是断定是vpn的问题,猜测是重连vpn后,虽然client端ip没有变,但路由的路径已经变了,之前的连接无法复用,但dbcp并不知道。对网络细节不是太熟悉,就不多加揣测了。
接下来模拟数据库断开client连接的情况 由于pg采用的是进程模型,与数据库建立的每一个连接都是单独的一个进程,故尝试采用kill进程的方式模拟数据库断开连接。
预期的结果是:kill掉一个连接进程后,dbcp通过validate query发现该连接失效,将销毁该连接并重新创建新连接。
但实际情况确是:kill掉一个连接后,所有连接全部被销毁。
问题:究竟是数据库还是dbcp销毁了所有连接?
排查过程: 熟悉pg的同事认为pg之所以采用进程模型,就是为了避免连接之间的影响,因此不可能发生kill一个连接,其他连接也被销毁的情况。在这个理论前提下,问题就变得很诡异,因为dbcp的validate肯定是针对一个连接的,也不可能会在validate一个连接失效的情况下销毁所有连接,于是越想越偏,甚至开始怀疑是pg的jdbc driver有问题,最终放弃了深究。
但我总觉得有点不太对劲,于是推翻之前的前提,开始怀疑是pg销毁了所有连接。于是,在使用连接池的应用之外,通过pg的数据库客户端psql连接db,这就建立了一个与dbcp无关的连接,接着继续在server端kill了一个连接池中的连接,继而发现psql创建的连接也被销毁了,这就能确定是pg在销毁连接,因为dbcp不可能控制自身范围之外的连接。
后来才知道,pg之所以会这么做,是因为我们kill连接时使用的是kill -9(简称9杀),9杀太过粗暴,pg会重启很多内部进程,以保证所有进程正常,之前的连接也将会丢失,换用普通的kill命令,则不会发生以上情况。可见9杀很多情况下是十分危险的,试想一个线上db,若是9杀一个连接,后果不堪设想。。。
总结 说是dbcp问题排查,但大家可以看到最终问题的根源都跟dbcp没有什么关系。实际工作中的很多问题,关联的因素众多,需要有各方面的知识储备才能找到真正问题根源,否则就会把问题归结到一个自己不太了解的领域。
另外,看到
dbcp基本配置和重连配置这篇文章中对连接池重连有两句不错的总结,引用一下:
引用
1. 数据库意外重启后,原先的数据库连接池能自动废弃老的无用的链接,建立新的数据库链接
2. 网络异常中断后,原先的建立的tcp链接,应该能进行自动切换
最后附上测试使用的dbcp配置。
testOnBorrow配置:
- <bean id="dataSource" class="org.apache.commons.dbcp.BasicDataSource" destroy-method="close">
- <property name="driverClassName" value="${jdbc.driver}" />
- <property name="url" value="${jdbc.url}"/>
- <property name="username" value="${jdbc.user}" />
- <property name="password" value="${jdbc.passwd}" />
- <property name="removeAbandoned" value="true"/>
- <property name="initialSize" value="10" />
- <property name="maxIdle" value="10" />
- <property name="minIdle" value="10" />
- <property name="maxActive" value="30" />
- <property name="maxWait" value="30000" />
- <property name= "testWhileIdle" value="false" />
- <property name= "testOnBorrow" value="true" />
- <property name= "testOnReturn" value="false" />
- <property name= "validationQuery" value="select 1" />
-
- </bean>
testWhileIdle配置:
- <bean id="dataSource" class="org.apache.commons.dbcp.BasicDataSource" destroy-method="close">
- <property name="driverClassName" value="${jdbc.driver}" />
- <property name="url" value="${jdbc.url}"/>
- <property name="username" value="${jdbc.user}" />
- <property name="password" value="${jdbc.passwd}" />
- <property name="removeAbandoned" value="true"/>
- <property name="initialSize" value="10" />
- <property name="maxIdle" value="10" />
- <property name="minIdle" value="10" />
- <property name="maxActive" value="30" />
- <property name="maxWait" value="30000" />
- <property name= "testWhileIdle" value="true" />
- <property name= "testOnBorrow" value="false" />
- <property name= "testOnReturn" value="false" />
- <property name= "validationQuery" value="select 1" />
-
- <property name= "timeBetweenEvictionRunsMillis" value="30000" />
- <property name= "numTestsPerEvictionRun" value="30" />
- <property name="minEvictableIdleTimeMillis" value="1800000" />
- </bean>
注:testOnBorrow只会发现当前连接失效,再创建一个连接供当前查询使用,而testWhileIdle会定时校验numTestsPerEvictionRun个连接,只要发现连接失效,就将其移除再重新创建。