此问题在此处已有答案:
Is there a simple process-based parallel map for python?(5个答案)
四年前关闭了。
我写了这样的代码:
def process(data):
#create file using data
all = ["data1", "data2", "data3"]
我想在我的所有列表上并行执行进程函数,因为它们正在创建小文件,所以我不关心磁盘写入,但处理需要很长时间,所以我想使用我所有的核心。
如何在python 2.7中使用默认模块实现这一点?
3条答案
按热度按时间c9x0cxw01#
假设CPython和GIL在这里。
如果你的任务是I/O绑定的,一般来说,线程可能会更有效,因为线程只是将工作转储到操作系统上,并在I/O操作完成之前一直处于空闲状态。
然而,大多数文件系统不是并发的,所以使用多线程或多处理 * 可能 * 并不比同步写快。
尽管如此,这里有一个人为的
multiprocessing.Pool.map
示例,它可能有助于您的CPU绑定工作:类似的线程设置可以在
concurrent.futures.ThreadPoolExecutor
中找到。顺便说一句,
all
是一个内置函数,不是一个很好的变量名选择。hjzp0vay2#
或者:
或者(仅限python版本〉3.6.0):
oyxsuwqo3#
这里有一个使用
multiprocessing
的模板,希望对大家有所帮助。