你好，@dprokhorov17,你指的是大纲的哪些特点？

你好@langchain4j。我指的是聊天API的额外参数：https://docs.vllm.ai/en/latest/serving/openai_compatible_server.html#extra-parameters-for-chat-api

我认为，这应该不难实现...

@dprokhorov17 所以这是vLLM特定的，而不是大纲，对吗？

是的，你是对的。

我们没有vLLM特定的集成，您如何看待这个实现？

你需要一个特定于vLLM的集成吗？你有一个与vLLM OpenAI服务器兼容的OpenAiChatModel:

OpenAiChatModel model = OpenAiChatModel
        .builder()
        .modelName("meta-llama/Meta-Llama-3-70B-Instruct")
        .baseUrl("http://my.ip-address:8000/v1")
        .apiKey("myToken")
        .temperature(0.0)
        .maxTokens(1000)
        .build();

@dprokhorov17 正确，那么你如何看待将此与 OpenAiChatModel 一起实现？尽可能保持 OpenAI 集成的 vLLM 无关性会很好。