我正在使用谷歌协作,并安装谷歌驱动器。当我访问csv文件时,它会给我以下错误:
操作错误:[错误号5]输入/输出错误。
这以前从未发生过。
我怎样才能像以前一样访问csv文件?
我试过这个,但没有工作:
Input/output error while using google colab with google drive
执行以下代码后发生此问题。
for segment_id in tqdm(range(segment_num)):
with h5py.File(os.path.join(INPUT_PATH, "train.h5"), "r") as f:
train_answers.append(f['time_to_failure'][segment_id*segment_interval + SEGMENT_LENGTH])
tqdm条前进到37%,然后给出以下误差。
操作错误:无法打开文件(文件读取失败:时间= 2019年5月2日星期四14:14:09,文件名='./drive/My Drive/Kaggle/LANL-Earthquake-Prediction/input/train.h5',文件描述符= 74,错误号= 5,错误消息='输入/输出错误',缓冲区= 0x7ffc31926d00,总读取大小= 8,本次子读取的字节数= 8,实际读取的字节数= 18446744073709551615,偏移量= 0)
从那时起,像train. csv(9GB)这样的大文件,这是在谷歌驱动器无法从谷歌协作室读取。它给出了以下错误。
操作错误:[错误号5]输入/输出错误
有人有同样的问题吗?
有人知道怎么解决吗?
2条答案
按热度按时间qlckcl4x1#
有谷歌设置的配额,这是没有必要显示,而使用Colab。我运行在同样的问题。基本上,一旦超过限制,您会得到[Errno 5]输入/输出错误独立于文件或您正在做的操作。
自从我要求增加有关存储的配额(限制为每我们1 TB)后,问题似乎得到了解决。您可以通过访问此页面并单击配额来访问配额页面:https://cloud.google.com/docs/quota
如果你不要求增加配额,你可能需要等待7 - 14天,直到你的使用量设置回0并可以使用全部配额。
希望这能有所帮助!
qxsslcnc2#
我遇到过同样的错误(在迁移学习的过于密集的测试)。根据谷歌的原因可能是在太多的I/O操作与小文件或由于共享和更密集地使用资源-每一个原因与谷歌驱动器的使用有关。大多数情况下,1天后的配额应刷新。
您也可以尝试另一种解决方案(对于像我这样不耐烦的用户)-将您的资源(在我的例子中是一个压缩文件夹
data
,其中包含带有图像的文件夹train
和validation
)作为zip文件复制到您的Google驱动器,然后使用以下命令将其直接解压缩到Colab VM:然后,您可以访问文件夹/content/data/...中的数据(并告别I/O错误;))