文档章节

毫秒级百万数据分页存储过程[欢迎转载]

短短的歼击机
 短短的歼击机
发布于 2014/09/17 11:29
字数 696
阅读 265
收藏 26

数据分页一直是一个经久不衰的话题,在园子里看到了N多高手,都比我厉害,

今天把我使用的分页代码继续分享;请高手手下留情,少拍砖啦...哈哈;

欢迎大家转载!!!!

首先参考园子里的高手方法生成一个百万数据表; 耗时 33 秒;

然后创建分页存储过程;这个是基于SQL 2005 的ROW_NUMBER的, SQL 2000 不适用; SQL 2008 我没有安装,所以也没有测试过!估计应该可以运行.

 2种算法可以选择 1. 使用  BETWEEN   ;  2.  TOP  ; 代码中已经注释了.

我测试了一下2种方法基本没有什么区别;代码如下:

 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
USE [DATA_TEMP]
GO
/****** 对象:  StoredProcedure [dbo].[im531_Page]    脚本日期: 11/26/2010 10:52:35 ******/
SET ANSI_NULLSON
GO
SET QUOTED_IDENTIFIERON
GO
 
-- =============================================
-- Author:      im531
-- Create date: 2010-10-25
-- Description: SQL 2005 ROW_NUMBER 分页
-- Modify Date: 2010-10-26
-- =============================================
 
CREATE PROCEDURE [dbo].[im531_Page]
    @TabeNameAS NVARCHAR(50),
    @FieldsAS NVARCHAR(1024),
    @SearchWhereAS NVARCHAR(1024),
    @OrderFieldsAS NVARCHAR(1024),
    @pageNumberAS INT,
    @pageAS INT
AS
BEGIN
    SET NOCOUNTON;
    DECLARE @sqlTypeAS TINYINT
    SET @sqlType = 0 -- 0 BETWEEN   1 TOP
    DECLARE @sqlAS NVARCHAR(MAX)
    IF @SearchWhere <>'' SET @SearchWhere =' WHERE ' + @SearchWhere
    IF @page < 2SET @page = 1
    IF @page = 1
        BEGIN
            SET @sql ='SELECT TOP ' +CONVERT(NVARCHAR(20),@pageNumber) +' ' + @Fields
                +'FROM [' + @TabeName +'][a] WITH(NOLOCK) ' + @SearchWhere +' ORDER BY ' + @OrderFields
        END
    ELSE
        BEGIN
            --临时表
            SET @sql =';WITH [Page_____Table] AS('
                +'SELECT ROW_NUMBER() OVER(ORDER BY ' + @OrderFields +') AS [RowNow],' + @Fields
                +'FROM ['+ @TabeName +' ][a] WITH(NOLOCK) ' + @SearchWhere
                +')'
            --查找当前页面记录
            IF @sqlType = 0
                BEGIN
                -- A USE BETWEEN
                    SET @sql = @sql +'SELECT *'
                        +'FROM [Page_____Table] WITH(NOLOCK)'
                        +'WHERE [RowNow] BETWEEN ' +CONVERT(NVARCHAR(20),(@page - 1) * @pageNumber + 1) +' AND ' +CONVERT(NVARCHAR(20),@page * @pageNumber)
                        +'ORDER BY [RowNow]'
                END
            ELSE
                BEGIN
                -- B USE TOP
                    SET @sql = @sql +'SELECT TOP ' +CONVERT(NVARCHAR(20),@pageNumber) +' *'
                        +'FROM [Page_____Table] WITH(NOLOCK)'
                        +'WHERE [RowNow] > ' +CONVERT(NVARCHAR(20),(@page - 1) * @pageNumber)
                        +'ORDER BY [RowNow]'
                END
        END
    EXEC(@sql)
END

 

 

然后测试分页性能;每页显示20条记录, 百万数据最大50000页,当前页采用随机数取值;

 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
DECLARE @d DATETIME
SET @d = GETDATE()
 
DECLARE @MAS INT;DECLARE @NAS INT;DECLARE @cPageAS INT
SET @M = 50000;SET @N = 1
SET @cPage =CAST((rand()*(@M-@N)+@N)AS INT)
 
EXECUTE [im531_Page]
    @TabeName ='Table_1',
    @Fields ='[a],[b]',
    @SearchWhere ='[a] > 0',
    @OrderFields ='[a] DESC',
    @pageNumber = 20,
    @page = @cPage
 
 
SELECT [当前页] = @cPage,[分页执行耗时间(毫秒)] = DATEDIFF(ms,@d,GETDATE())

 

在我的机器上面测试均为毫秒级!!!!

园子里的高手若有更好的方法欢迎分享一下!!!!!!!!!!!!!!!

--------------------------------------- 我是华丽的分割线 ---------------------------------------

回复10楼园友 ★金★ :

加上数据统计结果后稍慢了一丁点儿,估计在实际运用中可以忽略不计;

本文转载自:http://www.cnblogs.com/im531/archive/2010/11/26/1888490.html

短短的歼击机

短短的歼击机

粉丝 82
博文 262
码字总数 265749
作品 0
武汉
高级程序员
私信 提问
百亿大表任意维度查询,如何做到毫秒级返回?

随着闲鱼业务的发展,用户规模达到数亿级,用户维度的数据指标,达到上百个之多。 如何从亿级别的数据中,快速筛选出符合期望的用户人群,进行精细化人群运营,是技术需要解决的问题。业界的...

架构师springboot
01/23
0
0
SQL Server 2005的ROW_NUMBER()分页效率比较

建立数据表,插入相应数据。表结构如下,Id为自增长主键: 插入100万条测试数据: ? 接下来先扫盲一下ROW_NUMBER()函数。 ROW_NUMBER()函数 ROW_NUMBER()函数是根据参数传递过来的order by子...

Sobey
2014/02/24
0
0
阿里咸鱼毫秒级从百亿大表任意维度筛选数据,是怎么做到的...

  点击上方“java进阶架构师”,选择右上角“置顶公众号”   20大进阶架构专题每日送达   进阶架构精品专题   Mysql优化专题(★★★★)   网络协议专题(★★★★)   其余18大...

java进阶架构师
2018/12/20
0
0
如何做到毫秒级从百亿大表任意维度筛选数据?| 技术头条

业务背景 随着闲鱼业务的发展,用户规模达到数亿级,用户维度的数据指标,达到上百个之多。如何从亿级别的数据中,快速筛选出符合期望的用户人群,进行精细化人群运营,是技术需要解决的问题...

CSDN资讯
03/16
0
0
sql存储知识储备

例1: create proc proc_stu @sname varchar(20), @pwd varchar(20) as select * from ren where sname=@sname and pwd=@pwd go 查看结果:proc_stu 'admin','admin' 例2:下面的存储过程实现......

帅的不像男的
2016/04/01
45
0

没有更多内容

加载失败,请刷新页面

加载更多

centos7 新手阿里云服务器安装mongodb

简介 MongoDB 是一个基于分布式 文件存储的NoSQL数据库 由C++语言编写,运行稳定,性能高 旨在为 WEB 应用提供可扩展的高性能数据存储解决方案 MongoDB特点 模式自由 :可以把不同结构的文档存...

醉雨
30分钟前
3
0
sql注入漏洞,应屏蔽SQL注入攻击

注:SQL注入好比是前端URL传参数请求时参数以SQL 做为参数传入,如 select 1 from dual where 1=1 or 1=1 and 1=2;(类似这样的SQL语句) 防御方法 如果自己编写防注代码,一般是先定义一个函...

颜丽
30分钟前
3
0
装饰者模式

 代理模式与装饰者模式看起来很像,都实现基础对象实现的接口,在其自身对象中都保存着对被代理/被装饰者的对象引用。   先来看看装饰者模式的定义:动态的将责任附加到被装饰者对象上,用...

铁骨铮铮
34分钟前
2
0
我为什么飞行 10000 公里去西班牙参加 KubeCon?

2019 年 5 月 20 日至 23 日, 由 Cloud Native Computing Foundation (CNCF) 主办的云原生技术大会 KubeCon + CloudNativeCon EU(欧洲场)即将在热情洋溢的巴塞罗那盛装启幕。 作为云计算领...

zhaowei121
52分钟前
2
0
Node.getTextContent() not found 解决办法【不需要调整builder path下面包顺序】

新导入的工程,w3c的getTextContent找不到,response的setCharacterEncoding找不到,网上很多教程都是“调整工程builder path的lib包顺序把jre、tomcat调到上面即可”,但是进入项目的build...

嘿嘿嘿IT
今天
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部