我有一些相对较小的描述(最多40个标记),我想从config.json中更改一些参数(隐藏大小、最大位置嵌入、中间大小等)以减少内存消耗，但这导致了形状不匹配错误。能否修复？
2eafrhcq1#
我认为你需要使用bert_config.json预训练一个BERT模型。
bert_config.json
qgzx9mmu2#
是的，如果你想更改模型结构参数(隐藏层大小、最大位置嵌入、中间层大小),你需要使用新的参数重新运行run_pretaining.py。但是，你可以将max_seq_length更改为降低内存使用。
2条答案
按热度按时间2eafrhcq1#
我认为你需要使用
bert_config.json预训练一个BERT模型。qgzx9mmu2#
是的，如果你想更改模型结构参数(隐藏层大小、最大位置嵌入、中间层大小),你需要使用新的参数重新运行run_pretaining.py。但是，你可以将max_seq_length更改为降低内存使用。