vllm部署的qwen-14B的结果与原始qwen-14B的结果不一致,

b4qexyjb  于 6个月前  发布在  其他
关注(0)|答案(5)|浏览(111)

vllm部署qwen-14B的结果与原始qwen-14B的结果不一致,我们希望尽快优化qwen-14B的集成效果。

czq61nw1

czq61nw12#

根据我所知,vLLM并不能保证位运算的正确性(请参阅meetup幻灯片的第38页)。如果结果答案的字面意思相同,那么就没有问题。

7bsow1i6

7bsow1i63#

在两个答案之间仍然存在很大的差异。有时候,VLLM结果只是答案的一部分,而不是全面的。

相关问题