unilm 问题：LayoutLMv3,如何从头开始预训练？

polhcujo 于 3个月前发布在其他

关注(0)|答案(4)|浏览(52)

你好，谢谢你分享你的代码。
我正在研究文档理解，并想尝试使用LayoutLMv3进行测试，但我需要使用自己的数据重新训练它。我找不到任何从头开始预训练的指南。此外，我也找不到任何使用论文中指定的三个自监督任务的代码。
所以我的问题是：预训练的源代码是否已经发布？如果是，我在哪里可以找到它们？
谢谢。

unilm

来源：https://github.com/microsoft/unilm/issues/1042

4条答案

按热度按时间

k4ymrczo1#

你好，谢谢你分享你的代码。我正在研究文档理解，并想尝试使用LayoutLMv3进行训练，但我需要使用自己的数据重新训练它。我找不到任何从头开始预训练的指南。此外，我也找不到任何使用论文中指定的三个自监督任务的代码。所以我的问题是：预训练的源代码是否已经发布？如果有的话，我在哪里可以找到它们？
谢谢。
看起来预训练的代码还没有发布

赞(0）回复(0）举报 3个月前

5uzkadbs2#

你好，谢谢你分享你的代码。我正在研究文档理解，并想尝试使用LayoutLMv3进行测试，但我需要使用自己的数据重新训练它。我找不到任何从头开始预训练的指南。此外，我也找不到任何使用论文中指定的三个自监督任务的代码。所以我的问题是：预训练的源代码是否已经发布？如果有的话，我在哪里可以找到它们？
谢谢。
你有没有弄清楚这个问题？

赞(0）回复(0）举报 3个月前

nmpmafwu3#

我认为没有火车代码。你需要自己编写自我监督的头部。我还没有开始。我正在收集英语数据进行微调。如果有效，我将使用多语言数据从头开始进行预训练。

赞(0）回复(0）举报 3个月前

btqmn9zl4#

你好，@darkoob12
你是否能够复现MIM的目标？

赞(0）回复(0）举报 3个月前