我有自定义encoding.json和自定义vocab.bpe文件，它们的大小要小得多。但是，当我使用gpt-2生成文本时，输出标记的范围超出了自定义encoder.json中的编码范围。我如何才能使gpt-2工作？

修改代码并重新训练，因为模型是用vocab的特定上限数字学习的：

"n_vocab": 50257,

如果你用手换的话，它会崩溃的...

没有任何文档，真的很难理解代码。你能解释一下我将如何重新训练它吗？

这个项目的目的是评估模型，而不是训练模型。这就是为什么训练代码从来没有发布过。所以你在这个领域基本上只能靠自己。你可以尝试搜索其他分支或相关项目，它们可能包含这个或类似的功能，可能会有所帮助。