我正在Windows 10，Intel Core i7- 8550 U处理器上使用Python 3.7.4尝试Python多处理。
我用两个函数来测试多处理，一个用基本的sleep（），另一个用sklearn的马修斯_corrcoef。多处理可以用sleep函数，但不能用sklearn函数。
import numpy as np
from sklearn.metrics import matthews_corrcoef
import time
import concurrent.futures
from multiprocessing import Process, Pool
from functools import partial
import warnings
import sys
class Runner():
def sleeper(self, pred, man, thr = None):
return time.sleep(2)
def mcc_score(self, pred, man, thr = None):
warnings.filterwarnings("ignore")
return matthews_corrcoef(pred, man)
def pool(self, func):
t1 = time.perf_counter()
p = Pool()
meth = partial(func, pred, man)
res = p.map(meth, thres)
p.close()
t2 = time.perf_counter()
print(f'Pool {func.__name__} {round((t2-t1), 3)} seconds')
def vanilla(self, func):
t1 = time.perf_counter()
for t in thres:
func(pred, man)
t2 = time.perf_counter()
print(f'vanilla {func.__name__} {round((t2-t1), 3)} seconds')
if __name__== "__main__":
print(sys.version)
r = Runner()
thres = np.arange(0,1, 0.3)
print(f"Number of thresholds {len(thres)}")
pred = [1]*200000
man = [1]*200000
results = []
r.pool(r.mcc_score)
r.vanilla(r.mcc_score)
r.pool(r.sleeper)
r.vanilla(r.sleeper)在windows中，对于mcc_score函数，使用pool实际上比vanilla版本慢，而在Linux中它可以正常工作。
以下是示例输出
#windows
3.7.4 (default, Aug 9 2019, 18:34:13) [MSC v.1915 64 bit (AMD64)]
Number of thresholds 4
Pool mcc_score 3.247 seconds
vanilla mcc_score 1.591 seconds
Pool sleeper 5.828 seconds
vanilla sleeper 8.001 seconds
#linux
3.7.0 (default, Jun 28 2018, 13:15:42) [GCC 7.2.0]
Number of thresholds 34
Pool mcc_score 1.946 seconds
vanilla mcc_score 8.817 seconds我浏览了stackoverflow中的文档和其他相关问题，其中主要说明使用if __name__== "__main__":。一些帮助将非常感谢，因为我已经在这个问题上停留了很长一段时间。如果我错过了任何重要信息，请提到它，我会提供它。
1条答案
按热度按时间gr8qqesn1#
首先，我将简化你的代码，因为你的类中的方法从来不使用类变量，所以我将跳过类方法，只使用方法。
我们以multiprocessing文档中的示例为起点，为了了解使用
Pool的好处，我添加了两秒的睡眠并打印了一个时间戳。输出与预期一致
由于我没有指定内核的数量，所有可用的内核都被使用了（在我的机器4上）。这可以在时间戳中看到：4个时间戳彼此接近。然后，循环暂停，直到内核再次被释放。
你想使用一个方法
matthews_corrcoef，它根据documentation接受两个参数y_true和y_pred。在使用该方法之前，让我们修改上面的test方法，以接受两个参数：
从multiprocessing.pool.Pool的文档中我们了解到，
map只接受一个参数。所以我将使用apply_async。由于apply_async返回结果对象而不是方法的返回值，我使用列表来存储结果并在单独的循环中获取返回值，如下所示：这给出了与第一种方法类似的输出：
现在是
matthews_corrcoef。为了更好地验证结果（当应用到matthews_corrcoef时，您的pred和man抛出错误），我使用的术语和值与matthews_corrcoef文档中的示例相似。结果与预期一致：