大佬们有没有遇到下面的问题啊，用最新的代码跑 aidatatang数据集预处理的时候报错，
vmdwslir1#
看起来是多线程在ubuntu下有问题，可以简单改下多线程实例化逻辑
os8fio9y2#
可以尝试将models.synthesizer.preprocess.py中的137行改成下面的形式：import torchctx = torch.multiprocessing.get_context("spawn")job = ctx.Pool(n_processes).imap(func, fpaths)
import torch
ctx = torch.multiprocessing.get_context("spawn")
job = ctx.Pool(n_processes).imap(func, fpaths)
ymzxtsji3#
我是小白，昨天也遇到了这个问题，我用的是rockylinux。后来我是在pre.py里的create_embeddings上面加了两行import torchtorch.multiprocessing.set_start_method('spawn', force=True)然后就跑起来了。
torch.multiprocessing.set_start_method('spawn', force=True)
3条答案
按热度按时间vmdwslir1#
看起来是多线程在ubuntu下有问题，可以简单改下多线程实例化逻辑
os8fio9y2#
可以尝试将models.synthesizer.preprocess.py中的137行改成下面的形式：
import torchctx = torch.multiprocessing.get_context("spawn")job = ctx.Pool(n_processes).imap(func, fpaths)ymzxtsji3#
我是小白，昨天也遇到了这个问题，我用的是rockylinux。后来我是在pre.py里的create_embeddings上面加了两行
import torchtorch.multiprocessing.set_start_method('spawn', force=True)然后就跑起来了。