我尝试在google colab上使用torch-geometric来训练GNN,这涉及到批处理的迭代
train_dataset = OneStepDataset(data_path, "train", noise_std=params["noise"])
train_loader = pyg.loader.DataLoader(train_dataset, batch_size=params["batch_size"], shuffle=True, pin_memory=True, num_workers=2)
for batch in train_loader:
print(batch)
(OneStepDataset是pyg.data.Dataset()的子类,它获取pyg.data.Data()dtype中的图形数据)
我得到这个错误:
RuntimeError: DataLoader worker (pid(s) 5190) exited unexpectedly
我发现的常见解决方案是减少批量大小或设置num_workers=1
,但它们要么不起作用,要么只是原始pytorch的数据加载器上的一个选项。
1条答案
按热度按时间enyaitl31#
这个问题可以通过将运行时加速器更改为TPU来解决,但我必须修改pytorch代码,使其与PyTorch/XLA包的TPU兼容。https://colab.research.google.com/github/pytorch/xla/blob/master/contrib/colab/getting-started.ipynb