尝试将一个使用"mlp"作为嵌入的变压器模型从OpenNMT-py转换,但MLP尚未纳入转换中,因此我认为它在CTranslate2中不受支持。
onmt_release_model --model ./saves/model_step_52000.pt --format ctranslate2 --quantization int8 --output ./ct2
Traceback (most recent call last):
File "C:\ProgramData\Anaconda3\lib\runpy.py", line 197, in _run_module_as_main
return _run_code(code, main_globals, None,
File "C:\ProgramData\Anaconda3\lib\runpy.py", line 87, in _run_code
exec(code, run_globals)
File "C:\ProgramData\Anaconda3\Scripts\onmt_release_model.exe\__main__.py", line 7, in <module>
File "C:\Users\admin\AppData\Roaming\Python\Python39\site-packages\onmt\bin\release_model.py", line 30, in main
converter.convert(opt.output, force=True,
File "C:\Users\admin\AppData\Roaming\Python\Python39\site-packages\ctranslate2\converters\converter.py", line 89, in convert
model_spec = self._load()
File "C:\Users\admin\AppData\Roaming\Python\Python39\site-packages\ctranslate2\converters\opennmt_py.py", line 175, in _load
return _get_model_spec_seq2seq(
File "C:\Users\admin\AppData\Roaming\Python\Python39\site-packages\ctranslate2\converters\opennmt_py.py", line 81, in _get_model_spec_seq2seq
embeddings_merge=_SUPPORTED_FEATURES_MERGE[feat_merge],
KeyError: 'mlp'
我想通过试错法比较mlp和普通连接(concat)的效果,以了解它们可能对结果产生的影响,因为它们似乎很有前途。
2条答案
按热度按时间envsm3lx1#
因为它们似乎很有前途。
你有什么结果要分享吗?我认为在大多数情况下,“concat”已经足够好了。
oyxsuwqo2#
我无法实际测试它,但我可以使用OpenNMT-py进行一些实验和比较。我没有测试它的原因是因为我的整个测试流程都在CTranslate2中 - 发现"mlp"嵌入是一个有趣的概念,当我发现它们时,因此我的好奇心。