学习python多线程和多进程的一点感想
博客专区 > 刘地 的博客 > 博客详情
学习python多线程和多进程的一点感想
刘地 发表于5年前
学习python多线程和多进程的一点感想
  • 发表于 5年前
  • 阅读 3388
  • 收藏 40
  • 点赞 2
  • 评论 1

新睿云服务器60天免费使用,快来体验!>>>   

今天学了一下python的多进程和多线程技巧。

多线程方面倒没啥可说的,很简单。值得注意的是,多线程并不限制你一次只执行一个,如果你的线程之间不共享变量的话,是用不到线程锁的,虽然这么说,但是其实即使不用lock程序还是一次只执行一个线程。如果程序内部有阻塞现象(比如下载之类),使用线程很不错,但是如果没有的话,用不用线程的消耗差别不大(甚至因为要支持线程而减慢)。不使用lock其实是将lock交给了python负责,它会根据阻塞与否协调线程的执行。

说回重点,多进程吧。

下面是我从其他人的帖子里抄来的一个多进程示范脚本(当然修改了一些):

import multiprocessing
import os

def get(url,lock):
    lock.acquire()
    print os.getpid(),url
    lock.release()

plist=[]
lock=multiprocessing.Lock()
for i in ['www.sina.com.cn','www.163.com','www.baidu.com','www.cnblogs.com','www.qq.com','www.douban.com']:
    proc=multiprocessing.Process(target=get,args=(i,lock))
    plist.append(proc)

for proc in plist: proc.start()
for proc in plist: proc.join()


但是呢,我执行起来,却会死机,会不停的打开python解释程序。

这样当然是让我很纳闷的,因为这个程序在ideone(一个在线代码编译器)上运行正常,问别人也说可以正常执行,怎么到我这里就不行了呢?

起初我以为是安装非标准模块的副作用,于是重装了一次python2.7.3,然后从网上找了另一个范例试了一下,ok。

我很高兴,以为解决问题了,不过为了保险,还是再实验了一下上面的代码,又挂了……

这就让我很郁闷了,看来原因不是python,还是代码的问题。

可是代码成功执行了啊……

这个时候,我注意到一个细节,那就是在代码存放的目录里,多出来一个字节码的pyc文件。

看来这个pyc文件应该和这一问题有关……原来如此!

我安装python的时候,是选择了预编译库文件选项的,这样可以加快代码的执行速度。不过这样就导致了一个问题:预编译后的字节码文件的代码顺序和源代码文件是不太一样的。装入字节码文件时,会自动执行pyc文件里的部分代码(就是那些贴左面放的部分),而这一执行,就会导致程序发生递归,结果就是不断启用python解释执行pyc文件……

然后,然后俺就死机了……

ok,那么我就按我的判断来修改一下吧,代码如下:

from multiprocessing import Process
import os

def myget(url):
	print os.getpid(),url

if __name__ == '__main__':
	plist=[]
	for i in ['www.sina.com.cn','www.163.com','www.baidu.com','www.cnblogs.com','www.qq.com','www.douban.com']:
		proc=Process(target=myget,args=(i,))
		plist.append(proc)
	for proc in plist: proc.start()
	for proc in plist: proc.join()

下面一句:

if __name__ == '__main__':


的作用是让后面的代码只有文件被作为程序执行时才有效,作为库加载时不执行。

结果很好,成功执行了代码。

这一事例告诉我们,python官方的代码格式并不是仅仅出于美观的,尽可能的按官方风格写,可以避免很多不可预料的错误。

  • 打赏
  • 点赞
  • 收藏
  • 分享
共有 人打赏支持
粉丝 100
博文 52
码字总数 69858
作品 1
评论 (1)
王阿觉
学习一下,以后可以交流。
×
刘地
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: