这个错误是由于MossTokenizer
对象没有encoder
属性导致的。要解决这个问题,你需要在moss-moon-003-sft-plugin/tokenization_moss.py
文件中找到以下代码:
def get_vocab(self):
return dict(self.encoder, **self.added_tokens_encoder)
然后将其更改为:
def get_vocab(self):
return dict(self.encoder, **self.added_tokens_encoder) if self.added_tokens_encoder else self.get_vocab()
这样,当self.added_tokens_encoder
不为空时,它将返回包含额外标记的词汇表;否则,它将调用父类的get_vocab()
方法。这应该可以解决你遇到的问题。
2条答案
按热度按时间1yjd4xko1#
你好,请问你解决了这个问题吗?
1u4esq0p2#
加个
revision="refs/pr/6"
就可以了