文档章节

Mongodb aggregate timezone 问题

飓风2000
 飓风2000
发布于 2017/08/10 20:52
字数 512
阅读 6
收藏 0

在用aggregate 进行数据统计处理的时候,由于系统默认使用Mongodb的UTC时间,与我们时区差了8小时,会出现结果误差。为了获得正确的结果,在进行

aggregate 处理时需要在原来的基础上做加8小时处理。

测试数据如下

数据记录
下面我们来计算下shop_id 等于57300412且时间大于’2014-04-01T00:02:00Z’ 按天排序的统计结果。shell表达式如下

1

2

3

4

5

6

7

8

9

10

11

12

13

//经过时差处理

db.test.aggregate({$match:{'_id.shop_id':57300412}},

{$group:{

_id:{

year:{$year:{$add:['$_id.date',28800000]}},

month:{$month:{$add:['$_id.date',28800000]}},

day:{$dayOfMonth:{$add:['$_id.date',28800000]}

}},

amount:{$sum:'$value.amount'},

count:{$sum:'$value.count'},

cost:{$sum:'$value.cost'}}},

{$project:{_id:1,count:1,amount:1,cost:1}}

)

1

2

3

4

5

6

7

8

9

10

11

12

13

//没有经过时差处理

db.test.aggregate({$match:{'_id.shop_id':57300412}},

{$group:{

_id:{

year:{$year:'$_id.date'},

month:{$month:'$_id.date'},

day:{$dayOfMonth:'$_id.date'}

},

amount:{$sum:'$value.amount'},

count:{$sum:'$value.count'},

cost:{$sum:'$value.cost'}}},

{$project:{_id:1,count:1,amount:1,cost:1}}

)

对比结果如下

结果差值
注意上图增加时差和未增加时差的结果是不一样的。

说明:

1

2

$dayOfYear:计算日期的该年第几天,返回1366

$add:['$_id.date',28800000]: 时区数据校准,8小时换算成毫秒数为8*60*60*1000 = 28800000.

相应的Java代码片段如下:

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

DBObject match = new BasicDBObject("$match", new BasicDBObject("_id.shop_id", Integer.parseInt(shopAmount.getShopId())).

                append("_id.date", new BasicDBObject("$gte", startDate).append("$lte", endDate)));

 

BasicDBList dbList = new BasicDBList();

dbList.add("$_id.date");

dbList.add(28800000);//解决timezone 8小时时差

 

Map<String, Object> dbObjIdMap = new HashMap<String, Object>();

dbObjIdMap.put("year", new BasicDBObject("$year",new BasicDBObject("$add",dbList)));

dbObjIdMap.put("month", new BasicDBObject("$month",new BasicDBObject("$add",dbList)));

dbObjIdMap.put("dayOfMonth", new BasicDBObject("$dayOfMonth",new BasicDBObject("$add",dbList)));

DBObject groupFields = new BasicDBObject( "_id", new BasicDBObject(dbObjIdMap));

 

groupFields.put("amount", new BasicDBObject("$sum", "$value.amount"));

groupFields.put("count", new BasicDBObject("$sum", "$value.count"));

groupFields.put("cost", new BasicDBObject("$sum", "$value.cost"));

DBObject group = new BasicDBObject("$group", groupFields);

 

DBObject fields = new BasicDBObject("_id", 1);

fields.put("cost", 1);

fields.put("amount", 1);

fields.put("count", 1);

DBObject project = new BasicDBObject("$project", fields );

DBObject sort = new BasicDBObject("$sort", new BasicDBObject("_id", -1));

/* 查看Group结果 */

AggregationOutput output = collection.aggregate(match, group,project,sort); // 执行 aggregation命令

System.out.println(output.getCommandResult());

Collection<Object> c = output.getCommandResult().values();

Object o[] = c.toArray();

BasicDBList resultList = (BasicDBList) o[1];

本文转载自:

共有 人打赏支持
飓风2000
粉丝 37
博文 322
码字总数 135577
作品 0
浦东
高级程序员
私信 提问
一次MongoDB分页查询导致的OOM问题

OOM描述信息: 根据以上信息,好像是MongoDB查询数据的时候占用内存过大,导致的OOM 导出dump文件并且分析一下使用MAT打开文件后有个 Problem Suspect 1(最有可能导致内存溢出的提示) 点击...

日落北极
09/18
0
0
sql和mongodb基本操作对比

基本概念对比 SQL Terms/Concepts MongoDB Terms/Concepts database database table collection row document or BSON document column field index index table joins embedded documents a......

penngo
2014/03/20
0
0
mongoDB 学习笔记纯干货(mongoose、增删改查、聚合、索引、等等)

最后更新时间:2017-07-13 11:10:49 原始文章链接:http://www.lovebxm.com/2017/07/13/mongodb_primer/ MongoDB - 简介 官网:https://www.mongodb.com/ MongoDB 是一个基于分布式文件存储的...

Airship
06/01
0
0
djongo:Django和MongoDB连接器

在Django项目中使用MongoDB作为后端数据库,且不改变Django的ORM框架。实现Django用户管理程序对MongoDB数据库中文件的增加和修改。 用法 1.pip install djongo 2.在Django项目下的setting.p...

p柯西
06/20
0
0
MongoDB 3.0新特性概述

MongoDB 在 2015年3月3日 跳过了 MongoDB 2.8版本,直接在 MongoDB 2.6版本后,发布了MongoDB 3.0版本。 随后在 2015年3月17日 发布了 MongoDB 3.0.1 版本; 在 2015年4月9日发布了 MongoDB ...

xinsir999
05/02
0
0

没有更多内容

加载失败,请刷新页面

加载更多

apache顶级项目(二) - B~C

apache顶级项目(二) - B~C https://www.apache.org/ Bahir Apache Bahir provides extensions to multiple distributed analytic platforms, extending their reach with a diversity of s......

晨猫
今天
1
0
day152-2018-11-19-英语流利阅读

“超级食物”竟然是营销噱头? Daniel 2018-11-19 1.今日导读 近几年来,超级食物 superfoods 开始逐渐走红。不难发现,越来越多的轻食餐厅也在不断推出以超级食物为主打食材的健康料理,像是...

飞鱼说编程
今天
7
0
SpringBoot源码:启动过程分析(二)

接着上篇继续分析 SpringBoot 的启动过程。 SpringBoot的版本为:2.1.0 release,最新版本。 一.时序图 一样的,我们先把时序图贴上来,方便理解: 二.源码分析 回顾一下,前面我们分析到了下...

Jacktanger
昨天
3
0
Apache防盗链配置,Directory访问控制,FilesMatch进行访问控制

防盗链配置 通过限制referer来实现防盗链的功能 配置前,使用curl -e 指定referer [root@test-a test-webroot]# curl -e "http://www.test.com/1.html" -x127.0.0.1:80 "www.test.com/1.jpg......

野雪球
昨天
5
0
RxJava threading

因为Rx针对异步系统设计,并且Rx也自然支持多线程,所以新的Rx开发人员有时会假设Rx默认是多线程的。在其他任何事情之前,重要的是澄清Rx默认是单线程的。 除非另有说明,否则每次调用onNex...

woshixin
昨天
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部