你好，
我尝试转换DistilRoBERTa模型时遇到了以下错误：ValueError: No conversion is registered for the model configuration RobertaConfig (supported configurations are: BartConfig, BertConfig, BloomConfig, CodeGenConfig, DistilBertConfig, FalconConfig, GPT2Config, GPTBigCodeConfig, GPTJConfig, GPTNeoXConfig, LlamaConfig, M2M100Config, MBartConfig, MPTConfig, MT5Config, MarianConfig, MixFormerSequentialConfig, OPTConfig, PegasusConfig, RWConfig, T5Config, WhisperConfig, XLMRobertaConfig)。我知道DistilRoBERTa是基于RobertaConfig的，我们是否知道在项目后续版本中RobertaConfig是否会被支持？
我认为有对基于RobertaConfig的XLM-RoBERTa的支持，是否有办法我可以转换DistilRoBERTa模型？
2条答案
按热度按时间oogrdqng1#
XLM-Roberta使用XLMRobertaConfig,但在底层看起来几乎与RobertaConfig相同。
5n0oy7gb2#
这里有一个PR for this。然而，我刚刚意识到这个库不会让我们使用这些编码器模型进行分类。支持它们有什么意义呢？呃。