文档章节

django页面请求sql分析中间件

程序猿刚子
 程序猿刚子
发布于 2015/10/17 22:13
字数 365
阅读 49
收藏 5

行业解决方案、产品招募中!想赚钱就来传!>>>

很久没有写博客了,记录一些东西吧

写django程序时由于直接和django model交互,对sql的操作不是那么直观。所以很容易造成一些sql查询问题。

如常见的sql分页位置不正确导致查询整个表,多次queryset没有利用缓存导致多次sql重复查询等。之前一直用打印的方式查询,感觉还是不够方便。

于是有了下面的sql中间件,在本地开发时每次输出sql的一些简单分析信息提供参考

class DjangoSqlInspectMiddleware(object):

    def process_request(self, request):
        self.start_end_chars_dict = {'start_chars': '<' * 20, 'end_chars': '>' * 20}

        self.start = time.time()
        logger.info(os.linesep * 4)
        logger.info('%(start_chars)s sql analyse start %(end_chars)s' % self.start_end_chars_dict)

    def process_response(self, request, response):
        sqltime_list = connection.queries
        pprint.pprint(sqltime_list)

        duplicate_sqltime_dict = defaultdict(int)
        sql_total_time = 0
        max_sqltime, min_sqltime = (None,) * 2
        for st in sqltime_list:
            sql = st['sql']
            sql_total_time += float(st['time'])
            duplicate_sqltime_dict[sql] = duplicate_sqltime_dict[sql] + 1
            if not max_sqltime or not min_sqltime:
                max_sqltime = min_sqltime = st
            else:
                t = st['time']
                if t > max_sqltime['time']:
                    max_sqltime = st
                if t < min_sqltime['time']:
                    min_sqltime = st

        self.end = time.time()
        consume_time = self.end - self.start
        logger.info('[SQL] %s queries, %s SQL time, %s total request time' %
                    (len(duplicate_sqltime_dict), sql_total_time, consume_time))

        logger.info('[MAX TIME]: %s seconds' % (max_sqltime['time'], ))
        logger.info('[MAX TIME SQL]:%s %s' % (os.linesep, max_sqltime['sql']))

        logger.info('[MIN TIME]: %s seconds' % min_sqltime['time'])
        logger.info('[MIN TIME SQL]:%s %s' % (os.linesep, min_sqltime['sql']))

        logger.info('[CHECK DUPLICATE]:')
        for k, v in duplicate_sqltime_dict.iteritems():
            if v > 1:
                logger.info('(%s)' % v + k)
                logger.info('---------------------------------------------')
        logger.info('%(start_chars)s sql analyse end %(end_chars)s' % self.start_end_chars_dict)
        logger.info(os.linesep * 2)
        return response

主要程序如上, 如果感兴趣的同学可以在github上一起完善或者有更好的方式给予建议哈

https://github.com/lyroge/django-sqlinspect

程序猿刚子
粉丝 14
博文 18
码字总数 7972
作品 0
平谷
高级程序员
私信 提问
加载中
请先登录后再评论。
访问安全控制解决方案

本文是《轻量级 Java Web 框架架构设计》的系列博文。 今天想和大家简单的分享一下,在 Smart 中是如何做到访问安全控制的。也就是说,当没有登录或 Session 过期时所做的操作,会自动退回到...

黄勇
2013/11/03
3.4K
6
Flappy Bird(安卓版)逆向分析(一)

更改每过一关的增长分数 反编译的步骤就不介绍了,我们直接来看反编译得到的文件夹 方法1:在smali目录下,我们看到org/andengine/,可以知晓游戏是由andengine引擎开发的。打开/res/raw/at...

enimey
2014/03/04
6K
18
beego API开发以及自动化文档

beego API开发以及自动化文档 beego1.3版本已经在上个星期发布了,但是还是有很多人不了解如何来进行开发,也是在一步一步的测试中开发,期间QQ群里面很多人都问我如何开发,我的业余时间实在...

astaxie
2014/06/25
2.7W
22
Nutch学习笔记4-Nutch 1.7 的 索引篇 ElasticSearch

上一篇讲解了爬取和分析的流程,很重要的收获就是: 解析过程中,会根据页面的ContentType获得一系列的注册解析器, 依次调用每个解析器,当其中一个解析成功后就返回,否则继续执行下一个解...

强子哥哥
2014/06/26
712
0
数据库代码辅助工具--MaoCaiJun.Database

MaoCaiJun.DataBase 是一个用于 Microsoft Visual Studio 的数据库代码生成组件。它是基于 xml 文件的代码创建工具,支持sql2000,sql2005,sql2008,access, SQLite MaoCaiJun.Database 数据库...

mccj
2013/02/06
2.3K
1

没有更多内容

加载失败,请刷新页面

加载更多

叮! Q币派送中,快来看看你中奖了吗?

中奖名单新鲜出炉啦! 大家好 为了感谢大家一直以来对我们公众号的关注和支持 D妹来给大家发!奖!品!了! 是哪几位幸运鹅 能把这30Q币收入囊中? 赶紧过来康康吧! 也欢迎各位后续多多分享...

腾讯云DNSPod
今天
20
0
Qt音视频开发5-vlc事件订阅

一、前言 事件订阅可以拿到文件长度、播放进度、播放状态改变等信息,vlc的事件订阅机制封装的比较友好,只需要先创建一个事件管理器,然后逐个订阅自己感兴趣的需要的事件,不感兴趣的可以不...

飞扬青云
24分钟前
12
0
酒精和药物影响下出现交通事故的频率

导读: 在酒精或药物影响下驾驶,已被认为是与发生潜在交通事故和出现严重伤亡结果相关的关键因素[1]。2016年,美国酒驾事故导致10,497人死亡,占当年交通事故死亡总人数的28%,其死亡总人数...

科研菌
昨天
0
0
高可用高并发的 9 种技术架构!

来源:androidchina http://www.androidchina.net/7928.html 1、分层 分层是企业应用系统中最常见的一种架构模式,将系统在横向维度上切分成几个部分,每个部分负责一部分相对简单并比较单一...

Java技术栈
25分钟前
23
0
联盟链要对区块链做减法

当前联盟链平台在公有链的基础上,对共识机制做调整,去掉公有属性,使得准入可控、效率提升,这实际上是对区块链在做减法。但这是否足够呢? 我们在应用中很快发现,联盟链的使用比较受限制...

FISCO-BCOS开源社区
昨天
11
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部