文档章节

python多进程编程multiprocessing

Goopand
 Goopand
发布于 2015/06/13 23:23
字数 763
阅读 24
收藏 0

python支持多线程多进程编程,标准库模块threading使得python的多线程编程变得容易,支持很多功能,在python2.6后,python新添加了多进程的标准库模块multiprocessing,功能非常类似threading。

下面介绍multiprocessing模块的一些常用类和方法。

1、multiprocessing.Process

该类原型如下:

class multiprocessing.Process(group=Nonetarget=Nonename=Noneargs=()kwargs={})

group参数通常为None,仅仅是为兼容threading.Thread。

target为可调用对象,被run()函数调用,一般用法就是将函数传给该参数,交给子进程运行。

name为进程名,如不指定,默认为Process-1,Process-2....这样的名字,数字随自己查数量依次递增。

args为target调用的参数元祖。

kwargs为target调用的关键字参数字典。

Process类生成一个process对象,并运行在一个新的单独的进程内。

一个简单的使用例子:

from multiprocessing import Process
import time

def timetask(times):
    time.sleep(times)
    print time.localtime()

if __name__ == '__main__':
    arg = 5
    p = Process(target = timetask, args = (arg,))
    p.start()
    p.join()

每个process对象最多只能调用一次start()方法,join([timeout])方法会阻塞调用process对象的进程,直到timeout时间超时,或者process进程退出。如果timeout设置为None,则无超时时间。对于linux操作系统的进程管理,父进程会等待子进程退出,并收回子进程的资源,然后父进程再退出。如果父进程先于子进程退出,则子进程会被init进程接管。如果父进程没有退出也没有回收子进程资源,则子进程会一直停留在僵死状态。这里join方法就是阻塞父进程,等待子进程执行完毕。

如果在子进程里面要接受标准输入(如调用raw_input函数),这时候会有问题。因为标准输入是被父进程占用,因此这里子进程无法从标准输入读取数据。

一个解决办法是将标准输入描述符,传入子进程函数:

from multiprocessing import Process
import sys, os
import time

def intask(x, fileno):
    sys.stdin = os.fdopen(fileno)
    while True:
        in_char = raw_input("Enter to continue, Q to quit: ")
        if in_char.upper() == 'Q':
            break
        print x * x

if __name__ == '__main__':
    fn = sys.stdin.fileno()
    arg = 5
    p = Process(target = intask, args = (arg, fn))
    p.start()
    p.join()

开启多个进程并行执行:

from multiprocessing import Process
import sys, os
import time

def timetask(times):
    time.sleep(times)
    print time.localtime()


def works(func, arg, worknum):
    proc_record = []
    for i in range(worknum):
        p = Process(target = func, args = (arg,))
        p.start()
        proc_record.append(p)
    for p in proc_record:
        p.join()

    
if __name__ == '__main__':
    arg = 5
    procs = 4
    works(timetask, arg, procs)

程序同时开启4个进程并行执行timetask函数,这里需要注意的是先把所有的进程对象执行了start()方法后,再执行join(),如果对每个进程对象一起执行start()和join(),那么单个进程对象start()后,会马上阻塞父进程,导致无法马上对下一个进程对象执行start()。结果就是子进程并不是并行运行,而是依次运行。

有时间再更新multiprocessing模块的其他类和方法


本文转载自:http://www.cnblogs.com/yanvcl/archive/2013/06/07/3123897.html

共有 人打赏支持
Goopand
粉丝 8
博文 380
码字总数 188669
作品 0
朝阳
Python 2.6 亮点:multiprocessing模块

本来以为Python 2.6只是Python 3.0的过渡版本,不会有太多的新功能。但看到这个2.6的重大改动列表,才发现自己挺落后的。在2.6中新增的multiprocessing模块也绝对是Python 2.6的杀手级应用(...

索隆
2012/05/02
0
0
python--多进程的用法详解实例

想让python实现多进程(multiprocessing),我们要先区分不同的操作系统的不同之处。 Linux操作系统下提供了一个fork()系统调用,普通函数调用一次返回一次,fork()调用一次返回两次,因为操作...

山有木兮有木兮
05/14
0
0
浅谈 python multiprocessing(多进程)下如何共享变量

1、问题: 群中有同学贴了如下一段代码,问为何 list 最后打印的是空值? 其实如果你了解 python 的多线程模型,GIL 问题,然后了解多线程、多进程原理,上述问题不难回答,不过如果你不知道...

大数据之路
2014/02/26
0
0
python --- mulitprocessing(多进程)模块使用

1. 什么是进程?   进程(Process)是计算机中的程序关于某数据集合上的一次运行活动,是系统进行资源分配和调度的基本单位,是操作系统结构的基础。在早期面向进程设计的计算机结构中,进...

码农47
2017/11/12
0
0
多进程(multiprocessing module)

一、多进程 1.1 多进程的概念   由于GIL的存在,python中的多线程其实并不是真正的多线程,如果想要充分地使用多核CPU的资源,在python中大部分情况需要使用多进程。Python提供了非常好用的...

Hme
07/21
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

1、Vue解决安卓4.4不兼容的问题

1.npm安装 npm install babel-polyfill--save-devnpm install es6-promise--save-dev package.json中会出现 "babel-polyfill": "^6.26.0","es6-promise": "^4.1.1", 2.main.js引入 impo......

阿K1225
8分钟前
0
0
mybatis generator 属性详解

<?xml version="1.0" encoding="UTF-8"?><!DOCTYPE generatorConfiguration PUBLIC "-//mybatis.org//DTD MyBatis Generator Configuration 1.0//EN""http://mybatis.org/dtd/mybatis......

太黑_thj
11分钟前
0
0
windows nvm 安装 node

nvm 是 node 的版本控制管理 下面是下载 nvm 的地址,选择 nvm-setup.zip 下载 https://github.com/coreybutler/nvm-windows/releases 就是下一步下一步,一键安装 基本命令有: nvm arch [32...

U_I_A_N
13分钟前
0
0
js判断字符串中是否包含某个字符串

indexOf() indexof()方法可以返回某个指定的字符串值在字符串中首次出现的位置。如果要检索的字符串值没有出现,则该方法返回-1。 var str = "123";console.log(str.indexOf("3") != -1);...

小星星_cjx
26分钟前
0
0
函数式组件完整例子

之前创建的组件是比较简单,没有管理或者监听任何传递给他的状态,也没有生命周期方法。它只是一个接收参数的函数。 在下面这个例子中,我们标记组件为 functional,这意味它是无状态 (没有响...

tianyawhl
28分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部