MongoDB 查询超时异常 SocketTimeoutException

原创
2015/03/04 23:22
阅读数 6.6W

在对超过百万条记录的集合进行聚合操作。

DBObject match=(DBObject)JSON.parse("{$match:{logType:{'$in':[5,9]}}}");
DBObject group=(DBObject)JSON.parse("{$group:{'_id':'$domainUrl','count':{'$sum':1}}}");
AggregationOutput output = logCollection.aggregate(match,group);

偶尔会发生Read timed out 异常。

com.mongodb.MongoException$Network: Read operation to server /192.168.10.202:27017 failed on database adLogTable
	at com.mongodb.DBTCPConnector.innerCall(DBTCPConnector.java:253)
	at com.mongodb.DB.command(DB.java:261)
	at com.mongodb.DB.command(DB.java:243)    ...
Caused by: java.net.SocketTimeoutException: Read timed out
    at java.net.SocketInputStream.socketRead0(Native Method)
    at java.net.SocketInputStream.read(SocketInputStream.java:152)

通过多次测试,发现执行一次聚合平均时间为5s,超过5s时就会报错!

然后查看MongoDB的配置信息:

socket-timeout="5000"   //5s

socket-timeout的默认配置为0,也就是没有限制。

没有超时限制,系统出了问题也不容易发现,应该根据实际情况,给出合理的超时时间。

通过多次测试发现最长执行时间为6秒,就把超时时间设置成了10000。

socket-timeout="10000"   //10s

注意:MongoDB在与Spring整合时,如果要配置多个MongDB源,只会启用最后一个<mongo:options>配置。

应该把参数配置信息存储在properties文件中。

<mongo:mongo host="${mongodb.ip}" id="mongo202" port="${mongodb.port}">
	<mongo:options connections-per-host="200"
		threads-allowed-to-block-for-connection-multiplier="100"
		connect-timeout="1000" 
		max-wait-time="1000" 
		auto-connect-retry="true"
		socket-keep-alive="true" 
		socket-timeout="10000" 
		slave-ok="true"
		write-number="1" 
		write-timeout="0"
		write-fsync="true" />
</mongo:mongo>

通过Java API获取配置参数

DBCollection logCollection = mongoTemplate.getCollection(collName);
MongoOptions mongoOptions = logCollection.getDB().getMongo().getMongoOptions();
System.out.println(mongoOptions.getSocketTimeout());

最后一点:  ConnectionTimeOut和SocketTimeOut的区别:

   一次完整的请求包括三个阶段:1、建立连接 2、数据传输 3、断开连接

  如果与服务器(这里指数据库)请求建立连接的时间超过ConnectionTimeOut,就会抛 ConnectionTimeOutException,即服务器连接超时,没有在规定的时间内建立连接。

    如果与服务器连接成功,就开始数据传输了。

    如果服务器处理数据用时过长,超过了SocketTimeOut,就会抛出SocketTimeOutExceptin,即服务器响应超时,服务器没有在规定的时间内返回给客户端数据。




展开阅读全文
打赏
8
59 收藏
分享
加载中
五仁道长博主

引用来自“筱龙缘”的评论

MongoDB在与Spring整合时,如果要配置多个MongDB源,只会启用最后一个<mongo:options>配置。

应该把参数配置信息存储在properties文件中。

能不能把多数据源配置贴出来
周一上班的吧 ,其实没啥 多源就是不同ip和不同的beanName,也没啥东西。
2015/03/06 20:58
回复
举报
MongoDB在与Spring整合时,如果要配置多个MongDB源,只会启用最后一个<mongo:options>配置。

应该把参数配置信息存储在properties文件中。

能不能把多数据源配置贴出来
2015/03/06 14:41
回复
举报
五仁道长博主

引用来自“IncRediblE”的评论

几秒好短,我们一个聚合都几分钟,有的更长。。。
额 每个几秒,一次性统计几十个集合,也是需要几分钟。现在把统计结果做了缓存。好点了。 其实日志都是很有规律的,放在MySQL里面会不会快点?
2015/03/05 22:33
回复
举报
五仁道长博主

引用来自“zhaoyou”的评论

最好不要在前端场景里面使用group去操作, 以后数据量大了, 照样死翘翘。
我这几天被MongoDB搞死了,每天近千万的日志,都放在Mongo里面,统计慢的要死,现在在做缓存。真不懂项目经理为啥非要用Mongo
2015/03/05 22:31
回复
举报
五仁道长博主

引用来自“开源中国首席一失足成千古风流人物以稀为贵”的评论

0不错哦~
额 哎哟 不错哦
2015/03/05 22:29
回复
举报
几秒好短,我们一个聚合都几分钟,有的更长。。。
2015/03/05 13:37
回复
举报
最好不要在前端场景里面使用group去操作, 以后数据量大了, 照样死翘翘。
2015/03/05 10:09
回复
举报
原来如此
2015/03/05 09:16
回复
举报
_-
0不错哦~
2015/03/05 08:59
回复
举报
更多评论
打赏
9 评论
59 收藏
8
分享
返回顶部
顶部