unilm Kosmos 2 - 当no_prefetch=False时，训练挂起,

but5z9lq 于 5个月前发布在其他

关注(0)|答案(3)|浏览(72)

描述bug

我使用的模型(UniLM,MiniLM,LayoutLM等):Kosmos 2
问题出现在使用以下情况时：

训练脚本在以下情况下挂起：

2023-09-10 16:12:56 | WARNING | infinibatch.iterators | trying to fetch item, but prefetch buffer is empty

当我使用no_prefetch=True加载数据加载器时，脚本可以正常工作。这是否可能是因为没有足够的tsv文件？当使用no_prefetch=False时，可能导致脚本挂起的原因是什么？

重现

重现行为所需的步骤：

3条答案

你好，Yuval Kirstain。我们建议你使用多个tsv文件进行训练和调试。此外，no_prefetch=False可以提高数据加载速度，但在调试模式下不能使用。警告信息是正常的，它只应该出现在训练的开始阶段。

感谢您的帮助 @wenhui0924。

推荐用于调试和训练的最小tsv文件数量是多少？
当看到 infinibatch.iterators | trying to fetch item, but prefetch buffer is empty 警告时，我们预计需要等待多长时间？
什么是调试模式？是否有相应的标志？或者您是指当用户尝试调试时的情况？
此外，发布一些示例数据文件(比最初用于训练模型的数据要小得多)可能会对用户有所帮助，这些文件将使用户能够快速运行代码并了解数据应该是什么样子以及数据的结构。目前，用户必须从代码本身理解这一点。

你好，@yuvalkirstain。