文档章节

python 单例模式实现多线程共享连接池

鼎铭
 鼎铭
发布于 2017/09/02 23:42
字数 605
阅读 231
收藏 0

     我们经常使用数据库连接池,但那是有时候有些库并没有实现线程安全的连接池,这个时候,该如何自己封装?多进程和多线程甚至协程模式下,如何控制数据库连接数量或者是socket连接数。这个问题很有意义。

该文章后续仍在不断的更新修改中, 请移步到原文地址http://dmwan.cc

    首先,多进程,通常的做法是每个进程实例化一个连接池,为什么不共享一个池,因为多进程和多线程同步的开销不一样,一般三方库都不会支持,但是redis 的库可以,他有些细节不一样。然后多线程共享,只需要将连接放到一个线程安全的容器,比如list 或者queue中。注意多线程和多进程的queue实现方式完全不一样,多线程是使用的mmap。

    下面看看一个demo:

import multiprocessing
import threading
import os



def singleton(cls, *args, **kw):
    instances = {}#
    print "instance is",id(instances)
    def _singleton():
        #key = str(cls) + str(os.getpid())
        key = str(cls)
        if key not in instances:
            instances[key] = cls(*args, **kw)
        return instances[key]

    return _singleton
    print "instance has been free"

@singleton
class DB(object):
    def __init__(self):
        self.rabbitmq_pool = self.init_rabbitmq_pool()

    def init_rabbitmq_pool(self):
        pool = 1#为了简化
        return pool


#DB = singleton(DB)


def process1():
    print "proc 1 "
    db1 = DB()
    print "db1 is ", id(db1)


def process2():
    print "proc 2 "
    db2 = DB()
    print "db2 is", id(db2)

if __name__=="__main__":
    # print "multiproce "
    # pro1 = multiprocessing.Process(target=process1)
    # pro2 = multiprocessing.Process(target=process2)
    # pro1.start()
    # pro2.start()
    # pro1.join()
    # pro2.join()

    print "print thread"
    pro1 = threading.Thread(target=process1)
    pro2 = threading.Thread(target=process2)
    pro1.start()
    pro2.start()
    pro1.join()
    pro2.join()

这部分代码是简化了自己封装的连接池的代码, 主要观察线程单例是否生效,然后那个instance为什么线程能够共享一个连接池。

下面是打印结果:

instance is 140442806348048
print thread
proc 1 
db1 is  140442806366352proc 2 

db2 is 140442806366352

    看到结果,其实很多问题就知道答案了,使用装饰器后, 整个代码段加载的时候,装饰器就已经开始执行,这里的instances 是不会释放的,实际上代码初始化的时候就执行了DB = singleton(DB) ,相当于是 这个闭包是全局变量,又因为dict本身线程安全。所以每次线程用这闭包的时候,获取连接对象都是线程安全的。

    这里的单例对多进程是不会生效的。   

© 著作权归作者所有

共有 人打赏支持
鼎铭
粉丝 47
博文 68
码字总数 42624
作品 0
东城
程序员
私信 提问
Python学习:19.Python设计模式-单例模式

一、单例模式存在的意义   在这里的单例就是只有一个实例(这里的实例就像在面向对象的时候,创建了一个对象也可以说创建了一个实例),只用一个实例进行程序设计,首先我们可以了解一下什...

BD-ld-2017
07/31
0
0
Java之23种设计模式解析(二)

B、结构模式(7 种) 我们接着讨论设计模式,上篇文章我讲完了 5 种创建型模式,这章开始,我将讲下 7 种结构型模式:适配器模式、装饰模式、代理模式、外观模式、桥接模式、组合模式、享元模...

wersdffg
2015/02/15
0
0
从实例出发,了解单例模式和静态块

就算你没有用到过其他的设计模式,但是单例模式你肯定接触过,比如,Spring 中 bean 默认就是单例模式的,所有用到这个 bean 的实例其实都是同一个。 单例模式的使用场景 什么是单例模式呢,...

风的姿态
05/29
0
0
【23种设计模式之一】单例设计模式(翻译)

引言: 这一系列文章,翻译自网络上的文章,不过中间会夹杂着个人的理解,非原创,不过中文应该算是原创。 下面介绍,使用设计模式的一些好处: 1、设计模式是已经在工业生产中使用的,用于解...

敲代码猥琐男
2015/01/13
0
2
python 与设计模式 ——工厂与单例

python 与设计模式 源码地址:[http://git.oschina.net/duoduo3_69/python_design_pattern][1] git checkout v001(这个版本与此篇博客相符) zarkpy里面运用了很多设计模式,以前一直很费解p...

duoduo3_69
2013/11/27
0
0

没有更多内容

加载失败,请刷新页面

加载更多

新手也能看懂,消息队列其实很简单

该文已加入开源项目:JavaGuide(一份涵盖大部分Java程序员所需要掌握的核心知识的文档类项目,Star 数接近 16k)。地址:https://github.com/Snailclimb/JavaGuide. 本文内容思维导图: 消息...

阿里云官方博客
10分钟前
0
0
如何在Chrome浏览器中启动deviceready事件(尝试调试phonegap项目)?

我正在开发PhoneGap应用程序,我希望能够在Chrome中调试它,而不是在电话上调试。但是,我在onGetReady()函数中初始化我的代码,该函数在PhoneGap触发“deviceready”事件时触发。由于Chr...

kisshua
今天
9
0
nginx中部署vue打包后的静态文件

如何在nginx中部署静态资源就不描述了, 请看我的这篇博客 将vue脚手架项目打包后的静态文件放到nginx上, 发现有个问题, 即url上有#, 怎么去掉这个#呢. 1 项目中router的mode 路由的mode要为h...

克虏伯
今天
13
0
JS容易理解错误的地方

在这端代码执行的末尾,你会不会hi变量回事函数中的hi了?你会不会认为这不是按引用传递了? 对值传递和引用传递产生质疑了? 1 var hi = {};2 function sayHello(hi) { ...

器石_
今天
9
0
Java开发学习--MongoDB

之前只学过sql,第一次使用非关系型数据库。以前对于关系型数据库与非关系型数据库的概念很模糊,通过这次的学习对这两者有了一个清晰的概念。 主键 在MongoDB中,主键名叫"_id",如果在生成...

微笑向暖wx
今天
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部