当我尝试使用GPT2TokenizerFast加载自定义合并的GPT2分词器时遇到了一个问题。尽管确保了tokenizer.json文件格式正确，但我收到了以下错误：
数据与未标记的枚举ModelWrapper的任何变体都不匹配，位于第1行第3193814列
tokenizer-2.json
当我尝试使用GPT2TokenizerFast加载自定义合并的GPT2分词器时遇到了一个问题。尽管确保了tokenizer.json文件格式正确，但我收到了以下错误：
数据与未标记的枚举ModelWrapper的任何变体都不匹配，位于第1行第3193814列
tokenizer-2.json
3条答案
按热度按时间pprl5pva1#
这个问题已经过期，因为它已经打开了30天，没有活动。请移除过期标签或评论，否则将在5天内关闭。
2wnc66cl2#
嘿！现在看一看！
ilmyapht3#
好的，一件事是你的分词器似乎有两个预分词器，没有被包裹在一个序列中，这非常奇怪😅 你是如何合并的？