我想使用Phi-2来计算整个数据集上的prompt困惑度。有这样的API吗？短期内，如果你们能提供如何实现的指导，我很乐意将https://github.com/vllm-project/vllm/blob/d0215a58e78572d91dadafe9d832a2db89b09a13/vllm/model_executor/models/phi_1_5.py进行分叉。同时，我也愿意为所有因果模型贡献一个有效的API。
我想使用Phi-2来计算整个数据集上的prompt困惑度。有这样的API吗？短期内，如果你们能提供如何实现的指导，我很乐意将https://github.com/vllm-project/vllm/blob/d0215a58e78572d91dadafe9d832a2db89b09a13/vllm/model_executor/models/phi_1_5.py进行分叉。同时，我也愿意为所有因果模型贡献一个有效的API。
4条答案
按热度按时间qyswt5oh1#
我也有同样的需求。有人找到获取提示的logits的可能方法了吗？
jgzswidk2#
我也有同样的需求，但遗憾的是，似乎VLLM尚未实现对此的支持，这可以从以下问题讨论中得到证明。
$x_{1}e^{0f_1} x$
mkshixfv3#
I think you can use the parameter
prompt_logprobsinSamplingParamsfor this purpose.#1328
2fjabf4q4#
prompt_logprobs目前只能返回前20个tokens的概率，因此不适用于这个用例。