python3.x pool.map方法的实质
2019-01-16 05:50:05来源：博客园 阅读 ()
我使用多进程的一般方式，都是multiprocessing模块中的Pool.map()方法。下面写一个简单的示例和解析。至于此种方法使用多进程的效率问题，还希望大佬予以指正。
示例：
""" 探索pool.map多进程执行方式的实质 """ from multiprocessing import Pool from time import sleep from datetime import datetime class forMap: def __init__(self): self.name = '没啥用的初始化' def forPrinit(self, i): sleep(i) print(i) return i ** 2
基本的代码已经写好，下面看看怎么使用多进程去执行。
- 执行示例1：
if __name__ == '__main__': s = datetime.now() tt = forMap() # 进程池中创建两个进程，调用计算机的两个内核去帮我做事。 p = Pool(2) l = [2, 4, 6] rList = p.map(tt.forTest, l) print(rList) p.close() p.join() e = datetime.now() print('多进程执行时间：', e - s)
运行结果：
2 4 6 [4, 16, 36] 多进程执行时间： 0:00:08.191251
由于在进程池中创建了两个进程，所以代码会调用计算机的两个内核。而列表l中的三个元素中的前两个（“2”和“4”），会依次传入函数中，由计算机内核A和B去执行。当某一个内核执行完，会继续接收下一个传入参数“6”函数。而且内核A执行的函数，只会sleep两秒，所以，传入参数“6”的函数会由内核A去执行。所以A一共执行了2 + 6 为8秒，又由于是并行，所以总的执行时间是8秒（多的那零点几是初始化、赋值、打印等操作）。
- 执行示例2：
if __name__ == '__main__': s = datetime.now() tt = forMap() # 进程池中创建三个进程 p = Pool(3) l = [2, 4, 6] rList = p.map(tt.forTest, l) print(rList) p.close() p.join() e = datetime.now() print('多进程执行时间：', e - s)
执行结果：
2 4 6 [4, 16, 36] 多进程执行时间： 0:00:06.273263
创建了三个进程 ，并行执行，所以执行时间是6秒
- 执行示例3：
if __name__ == '__main__': s = datetime.now() tt = forMap() # 进程池中创建三个进程 p = Pool(3) l = [2, 4, 6, 8] rList = p.map(tt.forTest, l) print(rList) p.close() p.join() e = datetime.now() print('多进程执行时间：', e - s)
执行结果：
2 4 6 8 [4, 16, 36, 64] 多进程执行时间： 0:00:10.211451
在列表中添加一个元素，首先内核A、B、C分别执行2， 4， 6。A先结束，所以8也会由A来执行。
- 执行示例4：
if __name__ == '__main__': s = datetime.now() tt = forMap() # 进程池中创建三个进程 p = Pool(2) l = [2, 4, 8, 6] rList = p.map(tt.forTest, l) print(rList) p.close() p.join() e = datetime.now() print('多进程执行时间：', e - s)
执行结果：
2 4 8 6 [4, 16, 64, 36] 多进程执行时间： 0:00:10.200389
还是创建两个进程，将列表中第3和第4个元素交换位置，执行结果为10秒多，而且返回值也是交换过位置之后的，说明map方法中，可迭代对象传入函数是从前到后逐个提取元素。
原文链接:https://www.cnblogs.com/zrmw/p/10272034.html
如有疑问请与原作者联系
标签：
版权申明：本站文章部分自网络，如有侵权，请联系：west999com@outlook.com
特别注意：本站所有转载文章言论不代表本站观点，本站所提供的摄影照片，插画，设计作品，如需使用，请与原作者联系，版权归原作者所有
上一篇：logging模块
- python_字符串方法 2019-08-13
- python_公共方法 2019-08-13
- python3 之 判断闰年小实例 2019-08-13
- pycharm查看函数用法，参数信息的设置方法 2019-07-24
- Python多进程方式抓取基金网站内容的方法分析 2019-07-24
IDC资讯： 主机资讯 注册资讯 托管资讯 vps资讯 网站建设
网站运营： 建站经验 策划盈利 搜索优化 网站推广 免费资源
网络编程： Asp.Net编程 Asp编程 Php编程 Xml编程 Access Mssql Mysql 其它
服务器技术： Web服务器 Ftp服务器 Mail服务器 Dns服务器 安全防护
软件技巧： 其它软件 Word Excel Powerpoint Ghost Vista QQ空间 QQ FlashGet 迅雷
网页制作： FrontPages Dreamweaver Javascript css photoshop fireworks Flash
