功能请求：如何在生成过程中获取logits(每个下一个标记的概率),就像我在Open AI API中可以做到的那样？这个功能对于使用logprobs来衡量模型的平均值和置信度的应用将是有帮助的。
cotxawn71#
你好！看起来这是一个非常棒的功能，可以用于更复杂的Ollama使用。这个功能是否已经处于WIP状态，或者贡献者的意见也可以？更新：似乎已经有了一个带有此功能实现的待处理的PR:#1640我们能以某种方式帮助加快合并吗？ :)
7uzetpgm2#
这对于我正在进行的某些研究工作非常有帮助。除了OpenAI之外，有人知道任何提供返回logprobs的供应商吗？这个可能会在这里登陆Ollama的预计时间是什么时候？
laximzn53#
我也想有这个，我对同时拥有回声+logprobs感兴趣，这样我也可以获取关于提示的信息，而不仅仅是完成。现在我正在使用非常小的模型和PyTorch直接计算logits,但那真的很慢。
hjzp0vay4#
有任何更新吗？
xbp102n05#
qcuzuvrc6#
6条答案
按热度按时间cotxawn71#
你好！看起来这是一个非常棒的功能，可以用于更复杂的Ollama使用。
这个功能是否已经处于WIP状态，或者贡献者的意见也可以？
更新：似乎已经有了一个带有此功能实现的待处理的PR:#1640
我们能以某种方式帮助加快合并吗？ :)
7uzetpgm2#
这对于我正在进行的某些研究工作非常有帮助。除了OpenAI之外，有人知道任何提供返回logprobs的供应商吗？这个可能会在这里登陆Ollama的预计时间是什么时候？
laximzn53#
我也想有这个，我对同时拥有回声+logprobs感兴趣，这样我也可以获取关于提示的信息，而不仅仅是完成。现在我正在使用非常小的模型和PyTorch直接计算logits,但那真的很慢。
hjzp0vay4#
有任何更新吗？
xbp102n05#
有任何更新吗？
1640 (评论)
qcuzuvrc6#
有任何更新吗？