尝试在tokenizer_config.json中更新eos令牌为<|im_end|>。

如何解决这个问题？

尝试在tokenizer_config.json中更新eos token为<|im_end|>,我已经设置了，但答案仍然是错误的。

我尝试了，但仍然得到错误的答案。具体来说，模型似乎忽略了我ft(<|im_end|>)中的eos。我认为这不是分词器的问题，因为当我将目标答案和<|im_end|>放在输入的末尾时，它不会停止生成。
我已经根据模型中的所有配置文件手动设置了bos、eos和pad token。在没有vllm的情况下，模型工作得很好，并且能够正确地生成<|im_end|>来停止生成。
这是否与您的情况相同？如果有人解决了这个问题，那就太好了。

这个案例的一点更新。Vllm将分词器和模型用引擎 Package 起来，所以在使用Vllm时，你需要在Vllm的引擎中更新分词器和模型，这与我们不使用Vllm时的情况并不完全相同。它以这种方式解决了我的问题。如果你仍然遇到问题，请检查你的Vllm引擎中的分词器和模型的特殊标记。