你好，
除非我理解错了，否则在翻译器的translate_batch或generate_tokens函数中，我没有看到任何选项可以输出生成的tokens的logits/概率。然而，这个计算必须在采样tokens之前内部完成，对吗？
这将非常有用，以便更好地控制生成过程，例如影响特定token的选择。为什么没有公开这个功能呢？这可以很容易地添加上吗，还是我漏掉了什么？这可以以return_logits参数的形式出现在提到的函数中。
谢谢，
Simon
你好，
除非我理解错了，否则在翻译器的translate_batch或generate_tokens函数中，我没有看到任何选项可以输出生成的tokens的logits/概率。然而，这个计算必须在采样tokens之前内部完成，对吗？
这将非常有用，以便更好地控制生成过程，例如影响特定token的选择。为什么没有公开这个功能呢？这可以很容易地添加上吗，还是我漏掉了什么？这可以以return_logits参数的形式出现在提到的函数中。
谢谢，
Simon
3条答案
按热度按时间wnrlj8wa1#
关于这个有什么更新吗？
zz2j4svz2#
在方法
generate_tokens中，有一个选项return_log_prob。默认情况下它是关闭的。你可以通过result.log_prob来激活它，并在结果中获得log_prob。hiz5n14c3#
@minhthuc2502 我想在整个词汇表(或至少前K个)上进行分布。使用您的解决方案，我只能得到由模型生成的token的对数概率...
这个分布必须通过计算来生成token,这就是为什么我认为它应该“容易”暴露出来...