这个错误是因为客户端在尝试访问服务器时使用了HTTP协议,而服务器需要使用HTTPS协议。要解决这个问题,你需要将客户端代码中的URL从openai_api_base
更改为openai_api_base.replace("http://", "https://")
。
修改后的代码如下:
from openai import OpenAI
# Set OpenAI's API key and API base to use vLLM's API server.
openai_api_key = "vllm-abc123456"
openai_api_base = "[http://192.168.2.6:8000/v1](http://192.168.2.6:8000/v1)"
client = OpenAI(
api_key=openai_api_key,
base_url=openai_api_base.replace("http://", "https://"),
)
chat_response = client.chat.completions.create(
model="nvidia/Llama3-ChatQA-1.5-8B",
messages=[
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "Tell me a joke."},
],
extra_body={
"guided_choice": ["positive", "negative"]
}
).choices[0].message.content
print("Chat response:", chat_response)
4条答案
按热度按时间xt0899hw1#
根据错误信息,你是否尝试过使用HTTPS代替HTTP?
我是本地部署的,没有https只有http
wmomyfyw2#
我看到一个0.4.2版本(vllm.entrypoints.openai.api_server)的400错误请求,而在没有其他更改的情况下,0.4.1版本不会出现这个问题。这很奇怪,因为我正常提交的CURL请求可以正常工作,但是使用axios的应用程序会返回400错误。恢复到0.4.1版本后,一切又都可以正常工作了。这肯定是一个回归问题。
mcvgt66p3#
我上面提到的问题在最新的0.5.0-post1版本中仍然存在。我目前停留在0.4.1版本,以便有一个功能正常的openai api服务器。
jtoj6r0c4#
根据错误信息,你是否尝试过使用HTTPS代替HTTP?
$x_1^a_0b_1^x$