unilm max_input_len

kuhbmx9i  于 5个月前  发布在  其他
关注(0)|答案(1)|浏览(79)

我们能否微调layoutLM以获得最大输入序列长度>512。
请让我知道这是否可能。
如果不是在当前架构下,那么我如何使用其他语言模型(其原始架构是在这些任务上训练的)来执行预训练任务(任务),其中输入序列长度大于512(例如1024)。

ny6fqffe

ny6fqffe1#

请查看此处使用的架构,BERT大型模型负责序列长度限制。
如果您对探索序列长度限制感兴趣,可以查看长格式生成文本嵌入。

相关问题