vllm [Bug]: 400 Bad Request

kcwpcxri  于 5个月前  发布在  其他
关注(0)|答案(4)|浏览(224)

这个错误是因为客户端在尝试访问服务器时使用了HTTP协议,而服务器需要使用HTTPS协议。要解决这个问题,你需要将客户端代码中的URL从openai_api_base更改为openai_api_base.replace("http://", "https://")

修改后的代码如下:

from openai import OpenAI

# Set OpenAI's API key and API base to use vLLM's API server.

openai_api_key = "vllm-abc123456"
openai_api_base = "[http://192.168.2.6:8000/v1](http://192.168.2.6:8000/v1)"
client = OpenAI(
    api_key=openai_api_key,
    base_url=openai_api_base.replace("http://", "https://"),
)
chat_response = client.chat.completions.create(
    model="nvidia/Llama3-ChatQA-1.5-8B",
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Tell me a joke."},
    ],
    extra_body={
        "guided_choice": ["positive", "negative"]
    }
).choices[0].message.content
print("Chat response:", chat_response)
xt0899hw

xt0899hw1#

根据错误信息,你是否尝试过使用HTTPS代替HTTP?

- openai_api_base = "http://192.168.2.6:8000/v1"

+ openai_api_base = "https://192.168.2.6:8000/v1"

我是本地部署的,没有https只有http

wmomyfyw

wmomyfyw2#

我看到一个0.4.2版本(vllm.entrypoints.openai.api_server)的400错误请求,而在没有其他更改的情况下,0.4.1版本不会出现这个问题。这很奇怪,因为我正常提交的CURL请求可以正常工作,但是使用axios的应用程序会返回400错误。恢复到0.4.1版本后,一切又都可以正常工作了。这肯定是一个回归问题。

mcvgt66p

mcvgt66p3#

我上面提到的问题在最新的0.5.0-post1版本中仍然存在。我目前停留在0.4.1版本,以便有一个功能正常的openai api服务器。

jtoj6r0c

jtoj6r0c4#

根据错误信息,你是否尝试过使用HTTPS代替HTTP?

$x_1^a_0b_1^x$

相关问题