vllm 使用方式:openai.API状态错误:错误代码:405 - {'细节':'方法不允许'}

laawzig2  于 5个月前  发布在  其他
关注(0)|答案(1)|浏览(83)

你当前的环境是:

The output of `python collect_env.py`

你希望如何使用vllm?
我运行了vllm serve /mnt/datastore/shared/model-fp8 --max-model-len 16384 --tensor-parallel-size 8 --gpu-memory-utilization 0.95 --served-model-name model-v2-405b-e4,但后来我得到了openai.APIStatusError: Error code: 405 - {'detail': 'Method Not Allowed'}。我只在使用oai库的chat.completions API时遇到这个问题。文本补全API工作正常。

kognpnkq

kognpnkq1#

一种可能性是找不到聊天模板,或者无法找到聊天模板,因此某种程度上禁用了聊天端点。它应该显示为某个地方的警告日志消息。

相关问题