LayoutLM在预训练过程中是否学习了一维位置嵌入？LayoutLM的论文没有描述这一点，但官方代码包含了一维位置嵌入。
j2datikz1#
据我所知，这已经是Bert的一个特性了。这可能是你没有看到它突出显示的原因。
o2gm4chl2#
感谢您的回复。我已经理解LayoutLM模型是从BERT初始化的。如果LayoutLM在IIT-CDIP数据集上预训练时没有使用1D位置嵌入，我想知道这是否会导致1D位置信息的遗忘。
2条答案
按热度按时间j2datikz1#
据我所知，这已经是Bert的一个特性了。这可能是你没有看到它突出显示的原因。
o2gm4chl2#
感谢您的回复。我已经理解LayoutLM模型是从BERT初始化的。如果LayoutLM在IIT-CDIP数据集上预训练时没有使用1D位置嵌入，我想知道这是否会导致1D位置信息的遗忘。