文档章节

python多进程编程multiprocessing

Goopand
 Goopand
发布于 2015/06/13 23:23
字数 763
阅读 22
收藏 0
点赞 0
评论 0

python支持多线程多进程编程,标准库模块threading使得python的多线程编程变得容易,支持很多功能,在python2.6后,python新添加了多进程的标准库模块multiprocessing,功能非常类似threading。

下面介绍multiprocessing模块的一些常用类和方法。

1、multiprocessing.Process

该类原型如下:

class multiprocessing.Process(group=Nonetarget=Nonename=Noneargs=()kwargs={})

group参数通常为None,仅仅是为兼容threading.Thread。

target为可调用对象,被run()函数调用,一般用法就是将函数传给该参数,交给子进程运行。

name为进程名,如不指定,默认为Process-1,Process-2....这样的名字,数字随自己查数量依次递增。

args为target调用的参数元祖。

kwargs为target调用的关键字参数字典。

Process类生成一个process对象,并运行在一个新的单独的进程内。

一个简单的使用例子:

from multiprocessing import Process
import time

def timetask(times):
    time.sleep(times)
    print time.localtime()

if __name__ == '__main__':
    arg = 5
    p = Process(target = timetask, args = (arg,))
    p.start()
    p.join()

每个process对象最多只能调用一次start()方法,join([timeout])方法会阻塞调用process对象的进程,直到timeout时间超时,或者process进程退出。如果timeout设置为None,则无超时时间。对于linux操作系统的进程管理,父进程会等待子进程退出,并收回子进程的资源,然后父进程再退出。如果父进程先于子进程退出,则子进程会被init进程接管。如果父进程没有退出也没有回收子进程资源,则子进程会一直停留在僵死状态。这里join方法就是阻塞父进程,等待子进程执行完毕。

如果在子进程里面要接受标准输入(如调用raw_input函数),这时候会有问题。因为标准输入是被父进程占用,因此这里子进程无法从标准输入读取数据。

一个解决办法是将标准输入描述符,传入子进程函数:

from multiprocessing import Process
import sys, os
import time

def intask(x, fileno):
    sys.stdin = os.fdopen(fileno)
    while True:
        in_char = raw_input("Enter to continue, Q to quit: ")
        if in_char.upper() == 'Q':
            break
        print x * x

if __name__ == '__main__':
    fn = sys.stdin.fileno()
    arg = 5
    p = Process(target = intask, args = (arg, fn))
    p.start()
    p.join()

开启多个进程并行执行:

from multiprocessing import Process
import sys, os
import time

def timetask(times):
    time.sleep(times)
    print time.localtime()


def works(func, arg, worknum):
    proc_record = []
    for i in range(worknum):
        p = Process(target = func, args = (arg,))
        p.start()
        proc_record.append(p)
    for p in proc_record:
        p.join()

    
if __name__ == '__main__':
    arg = 5
    procs = 4
    works(timetask, arg, procs)

程序同时开启4个进程并行执行timetask函数,这里需要注意的是先把所有的进程对象执行了start()方法后,再执行join(),如果对每个进程对象一起执行start()和join(),那么单个进程对象start()后,会马上阻塞父进程,导致无法马上对下一个进程对象执行start()。结果就是子进程并不是并行运行,而是依次运行。

有时间再更新multiprocessing模块的其他类和方法


本文转载自:http://www.cnblogs.com/yanvcl/archive/2013/06/07/3123897.html

共有 人打赏支持
Goopand
粉丝 8
博文 180
码字总数 183387
作品 0
朝阳
python--多进程的用法详解实例

想让python实现多进程(multiprocessing),我们要先区分不同的操作系统的不同之处。 Linux操作系统下提供了一个fork()系统调用,普通函数调用一次返回一次,fork()调用一次返回两次,因为操作...

山有木兮有木兮 ⋅ 05/14 ⋅ 0

Python怎么利用多核cpu

原文链接http://www.cnblogs.com/stubborn412/p/4033651.html def dead_loop(): def dead_loop(): {void DeadLoop() { while (true); } } from threading import Thread lib = cdll.LoadLibr......

dby_freedom ⋅ 05/06 ⋅ 0

Python - multiprocessing运行和停止进程

基本用法 本文只介绍控制进程启停的操作, 因此只用到一个类 首先写一个保持运行的方法: 初始化一个实例, target为该实例运行时执行的方法. 通过调用类的方法启动一个进程: 要停止一个进程实例...

严北 ⋅ 05/22 ⋅ 0

python高性能编程第一章读书笔记

计算机底层组件分为三大基本部分:计算单元、存储单元以及两者之间的连接。 计算单元:具有将接收到的任意输入转换成输出的能力以及改变当前处理状态的能力。CPU是最常见的计算单元。它的主要...

ma412410029 ⋅ 05/28 ⋅ 0

Python高级编程和异步IO并发编程

Python高级编程和异步IO并发编程 网盘地址:https://pan.baidu.com/s/1eB-BsUacBRhKxh7qXwndMQ 密码: tgba 备用地址(腾讯微云):https://share.weiyun.com/5Z3x9V0 密码:7cdnb2 针对Pytho...

人气王子333 ⋅ 04/23 ⋅ 0

python3下multiprocessing、threading和gevent性能对比

转自: http://blog.csdn.net/littlethunder/article/details/40983031 目前计算机程序一般会遇到两类I/O:硬盘I/O和网络I/O。我就针对网络I/O的场景分析下python3下进程、线程、协程效率的对...

好铁 ⋅ 2016/03/30 ⋅ 0

[雪峰磁针石博客]python3快速入门教程9重要的标准库-高级篇

[雪峰磁针石博客]python3快速入门教程 输出格式 reprlib模块为大型的或深度嵌套的容器提供了缩写显示的repr(): pprint提供显示更好的print。 textwrap模块格式化文本段落以适应设定的屏宽: l...

Python测试开发人工智能 ⋅ 前天 ⋅ 0

团队拙作《Python机器学习实战》

之前看国内外的 Python 机器学习的书,鲜有将机器学习到底怎么做人脸识别、怎么做风险控制、怎么做 OCR 算法模型列出的,并且真正的一个 Python 应用,不止是从机器学习库中导入一下配置一下...

yijun2018 ⋅ 04/20 ⋅ 0

荐书丨确认过眼神,这份Python书单一定是你的菜

点击上方“程序人生”,选择“置顶公众号” 第一时间关注程序猿(媛)身边的故事 Python 是军刀型的开源工具,被广泛应用于Web 开发、爬虫、数据清洗、自然语言处理、机器学习和人工智能等方...

csdnsevenn ⋅ 05/05 ⋅ 0

想用 Python 找到一份好工作?这4种工作最热门!

身边有不少朋友最近都开始学习python,大多都在学了一两个月之后来问小编,我现在已经入行了,能去找什么样的工作呢? 小编只能说: 入行!=找工作 那么,自学python的人,如何才能找到满意的工...

python达人 ⋅ 05/16 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

005. 深入JVM学习—Java堆内存参数调整

1. JVM整体内存调整图解(调优关键) 实际上每一块子内存区域都会存在一部分可变伸缩区域,其基本流程:如果内存空间不足,则在可变的范围之内扩大内存空间,当一段时间之后,内存空间不紧张...

影狼 ⋅ 18分钟前 ⋅ 0

内存障碍: 软件黑客的硬件视图

此文为笔者近日有幸看到的一则关于计算机底层内存障碍的学术论文,并翻译(机译)而来[自认为翻译的还行],若读者想要英文原版的论文话,给我留言,我发给你。 内存障碍: 软件黑客的硬件视图...

Romane ⋅ 51分钟前 ⋅ 0

SpringCloud 微服务 (七) 服务通信 Feign

壹 继续第(六)篇RestTemplate篇 做到现在,本机上已经有注册中心: eureka, 服务:client、order、product 继续在order中实现通信向product服务,使用Feign方式 下面记录学习和遇到的问题 贰 or...

___大侠 ⋅ 今天 ⋅ 0

gitee、github上issue标签方案

目录 [TOC] issue生命周期 st=>start: 开始e=>end: 结束op0=>operation: 新建issueop1=>operation: 评审issueop2=>operation: 任务负责人执行任务cond1=>condition: 是否通过?op3=>o......

lovewinner ⋅ 今天 ⋅ 0

浅谈mysql的索引设计原则以及常见索引的区别

索引定义:是一个单独的,存储在磁盘上的数据库结构,其包含着对数据表里所有记录的引用指针. 数据库索引的设计原则: 为了使索引的使用效率更高,在创建索引时,必须考虑在哪些字段上创建索...

屌丝男神 ⋅ 今天 ⋅ 0

String,StringBuilder,StringBuffer三者的区别

这三个类之间的区别主要是在两个方面,即运行速度和线程安全这两方面。 首先说运行速度,或者说是, 1.执行速度 在这方面运行速度快慢为:StringBuilder(线程不安全,可变) > StringBuffer...

时刻在奔跑 ⋅ 今天 ⋅ 0

java以太坊开发 - web3j使用钱包进行转账

首先载入钱包,然后利用账户凭证操作受控交易Transfer进行转账: Web3j web3 = Web3j.build(new HttpService()); // defaults to http://localhost:8545/Credentials credentials = Wallet......

以太坊教程 ⋅ 今天 ⋅ 0

Oracle全文检索配置与实践

Oracle全文检索配置与实践

微小宝 ⋅ 今天 ⋅ 0

mysql的分区和分表

1,什么是mysql分表,分区 什么是分表,从表面意思上看呢,就是把一张表分成N多个小表,具体请看mysql分表的3种方法 什么是分区,分区呢就是把一张表的数据分成N多个区块,这些区块可以在同一...

梦梦阁 ⋅ 今天 ⋅ 0

exception.ZuulException: Forwarding error

错误日志 com.netflix.zuul.exception.ZuulException: Forwarding error Caused by: com.netflix.hystrix.exception.HystrixRuntimeException: xxx timed-out and no fallback available. Ca......

jack_peng ⋅ 今天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部