为了正确地将 top_p 和 top_k 参数传递给 Vertex AI 的 Gemini 模型，以便在您的 RAG(检索增强生成)中不会遇到错误，您应该确保这些参数包含在模型的初始化或调用 complete 方法时。以下是如何做到这一点的示例：

初始化示例

vllm_instance = Vllm(
    model="your-model-name",
    temperature=1.0,
    top_p=0.9,  # Set your desired top_p value
    top_k=50,   # Set your desired top_k value
    # other parameters...
)

方法调用示例

response = vllm_instance.complete(
    prompt="Your prompt here",
    top_p=0.9,  # Set your desired top_p value
    top_k=50    # Set your desired top_k value
)

这些参数是 Vllm 类的一部分，可以在初始化时或调用 complete 方法时设置。top_p 参数控制要考虑的最高标记的累积概率，而 top_k 参数控制要考虑的最高标记数量 1(https://github.com/run-llama/llama_index/blob/main/llama-index-legacy/llama_index/legacy/llms/vllm.py)。

• 要继续与 Dosu 交谈，请提及 @dosu。*