描述
我正在使用的模型(UniLM,MiniLM,LayoutLM等):Layoutlm我正在尝试使用Layoutlm进行简历解析。我已经对100多份简历进行了标注和训练,目前F1分数约为0.55,准确率约为85%。然而,当我运行推理时,许多文档的文本有很大一部分(集中在底部)没有被分类。我运行推理的简历与那些在训练时使用的格式相似,应该具有相似的边界框位置。为什么layoutlm没有对它们进行分类?如果是过拟合,我该怎么办?示例(模糊以保护个人隐私):
ecr0jaav1#
@DoubtfulCoder,这并不是过拟合。原因是LayoutLM在处理文档时,窗口大小为512个标记。如果你的文档长度超过512个标记,你需要将页面分割成多个样本供模型处理,无论是用于训练还是测试。
eivgtgni2#
感谢你的帮助 @wolfshow 。按令牌,你是指仅仅单词还是它们也指代其他东西?
在训练和推理中如何处理这个长度限制?我看到一些关于滑动窗口方法的东西,每次移动128个字符。你能提供一些示例代码吗?
brjng4g33#
我遇到了类似的问题,尝试更改seq_max_length时,在训练过程中出现了Cuda错误。尝试更改max_position_embeddings = 1024,并在对它们进行分词后将bboxes大小设置为(1024+196+1, 4),但这并没有起作用。
注意:Why 196 + 1
有人能帮帮我吗?
jaxagkaj4#
在训练和推理中,我如何处理这个长度限制?我看到一些关于滑动窗口方法的东西,每次移动128个字符。你能提供一些示例代码吗?
嗨!你解决了吗?
qv7cva1a5#
感谢你的帮助 @wolfshow 。按令牌,你是指仅仅单词还是它们也指代其他内容?在训练和推理中如何处理这个长度限制?我看到一些关于滑动窗口方法的东西,每次移动128个字符。你能提供一些示例代码吗?嗨!你解决了吗?嗨,我没有尝试增加max_position_embeddings,而是使用了滑动窗口方法。基本上,如果单词数量大于315,只需滑动100个字符的窗口(0-300,100-400等),然后汇总预测结果。
5条答案
按热度按时间ecr0jaav1#
@DoubtfulCoder,这并不是过拟合。原因是LayoutLM在处理文档时,窗口大小为512个标记。如果你的文档长度超过512个标记,你需要将页面分割成多个样本供模型处理,无论是用于训练还是测试。
eivgtgni2#
感谢你的帮助 @wolfshow 。按令牌,你是指仅仅单词还是它们也指代其他东西?
在训练和推理中如何处理这个长度限制?我看到一些关于滑动窗口方法的东西,每次移动128个字符。你能提供一些示例代码吗?
brjng4g33#
我遇到了类似的问题,尝试更改seq_max_length时,在训练过程中出现了Cuda错误。尝试更改max_position_embeddings = 1024,并在对它们进行分词后将bboxes大小设置为(1024+196+1, 4),但这并没有起作用。
注意:Why 196 + 1
有人能帮帮我吗?
jaxagkaj4#
感谢你的帮助 @wolfshow 。按令牌,你是指仅仅单词还是它们也指代其他东西?
在训练和推理中,我如何处理这个长度限制?我看到一些关于滑动窗口方法的东西,每次移动128个字符。你能提供一些示例代码吗?
嗨!你解决了吗?
qv7cva1a5#
感谢你的帮助 @wolfshow 。按令牌,你是指仅仅单词还是它们也指代其他内容?
在训练和推理中如何处理这个长度限制?我看到一些关于滑动窗口方法的东西,每次移动128个字符。你能提供一些示例代码吗?
嗨!你解决了吗?
嗨,我没有尝试增加max_position_embeddings,而是使用了滑动窗口方法。基本上,如果单词数量大于315,只需滑动100个字符的窗口(0-300,100-400等),然后汇总预测结果。