文档章节

利用MongoDb进行分页方案

奋斗到天明
 奋斗到天明
发布于 2015/08/27 18:17
字数 631
阅读 60
收藏 1

MongoDb的一个应用方案,具体场景是,框架是 Play1.x后端+Delphi前端,查询是数据过多,所以有用缓存减小网络压力,前端利用类似瀑布流的技术拉取数据,后端一次查出数据,分页返回。

这里提出两个方案,具体如下: 

一、分析 

综合上次开会,在缓存方面有两种意见,即是否将sessionid作为计算缓存hashkey的条件之一。其实这两种意见可以将此次的服务端的缓存分为两种作用。 

第一种,只做数据的反向缓冲,有减小网络压力之用。将数据从数据库取出,分批取回客户端。这种情况就是用sessionid计算hashkey的情况。如果只做反向的缓冲,则不须考虑数据的时效性。因为用缓冲与不用缓冲的区别只是在于是否一次加载完成。

另一种,就是不计算sessionid。这时将起反向缓冲与数据缓存作用,同时减小网络与数据库的。多个用户的多个请求只要请求参数一致,即hashkey一致,则取同一缓存。 

二、方案 

在后端,采用mongoDB作为缓存,将第一次请求结果缓存下来。缓存的地方在play的Controller层中,利用反射取值,这样可减少代码量。在数据返回时,带有livetime,可让客户端知道数据是否过期。 针对分析中的两种情况,提出下面两种方案: 

 A、 针对缓冲

图片1

缓存策略: 使用 url + requestParam + sessionid + timestamp 做hashkey。根据具体需求,将数据分成N段。每次请求取最前一段的数据,取完后缓存删除此段,当数据超过livetime点之后MongoDB也会自动删除此hashkey的所有数据。   

B、 针对缓冲加缓存

图片2

缓存策略: 

1、使用 url + requestParam 做hashkey 建立一个列表,将这次查询结果加入列表前面中,并设置每个数据项的成活时间点livetime与有效保鲜时间点activetime。 

2、返回hashkey、livetime和nextpage。第二次查询时可以用三个参数拉取数据。如果nextpage为空表示已经没有数据。 

3、如果第二个用户过来,同样的hashkey,会读取相应列表中最后一项的数据,计算是否在其activetime时间点前,如果在,则返回hashkey、livetime、nextpage。如果没有则重复1。

© 著作权归作者所有

共有 人打赏支持
奋斗到天明
粉丝 18
博文 112
码字总数 82707
作品 0
昌平
程序员
私信 提问
MongoDB 使用Skip和limit分页

关于MongoDB 数据分页和排序 limit,skip用户的一些基础语句,介绍MongoDB 数据分页和排序实例方法。 使用Skip和limit可以如下做数据分页: Code:   page1 = db.things.find().limit(20)  ...

mysoftsky
2014/08/26
0
1
waylau/mongodb-file-server

MongoDB File Server(基于 MongoDB 的文件服务器) MongoDB File Server is a file server system based on MongoDB. MongoDB File Server is committed to the storage of small files, su......

waylau
04/26
0
0
55最佳实践系列:MongoDB最佳实践

@郑昀汇总 创建日期:2012/9 Application Design: 1)如果发现query没使用你预期的索引,请用hint强制使用指定索引 主站商品中心所使用的文档字段很多,各种索引建得也不少。在沙创排查慢查...

旁观者-郑昀
2013/02/08
0
1
一文读懂Spring Boot、微服务架构和大数据治理之间的故事

微服务架构 微服务的诞生并非偶然,它是在互联网高速发展,技术日新月异的变化以及传统架构无法适应快速变化等多重因素的推动下诞生的产物。互联网时代的产品通常有两类特点:需求变化快和用...

纯洁微笑
05/10
0
0
MongoDB系列三(Spring集成方案).

一、前言 MongoDB是最为流行的开源文档数据库之一。Spring Data MongoDB提供了三种方式在Spring应用中使用MongoDB: 通过注解实现对象-文档映射; 使用MongoTemplate实现基于模板的数据库访问...

jmcui
03/31
0
0

没有更多内容

加载失败,请刷新页面

加载更多

小白带你认识netty(三)之NioEventLoop的线程(或者reactor线程)启动(一)

在第一章中,我们看关于NioEventLoopGroup的初始化,我们知道了NioEventLoopGroup对象中有一组EventLoop数组,并且数组中的每个EventLoop对象都对应一个线程FastThreadLocalThread,那么这个...

天空小小
今天
3
0
PHP动态扩展Redis模块

查看已有模块 [root@test-a ~]# /usr/local/php/bin/php -m[PHP Modules]bz2Core...zlib[Zend Modules] 下载包,解压,生成configure文件 [root@test-a ~]# cd /usr/local/src/[ro......

野雪球
今天
3
0
在Ignite中使用线性回归算法

在本系列前面的文章中,简单介绍了一下Ignite的机器学习网格,下面会趁热打铁,结合一些示例,深入介绍Ignite支持的一些机器学习算法。 如果要找合适的数据集,会发现可用的有很多,但是对于...

李玉珏
今天
5
0
Mybatis应用学习——简单使用示例

1. 传统JDBC程序中存在的问题 1. 一个简单的JDBC程序示例: public class JDBCDemo {public static void main(String[] args) {Connection con=null;PreparedStatement statemen...

江左煤郎
今天
4
0
使用JavaScript编写iOS应用业务逻辑

JSAUIKitCocoa使你可以使用JavaScript编写对性能要求不高但可能变动性很大的iOS应用的业务逻辑部分,View组件、需要多线程支持的Model等则直接使用原生对象。 编写方式与React Native相似,但...

neal01
今天
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部