Mark

Bump

它没有被很好地记录下来，但在提供服务时，你需要传入 "-max-lora-rank 64" 或类似的参数，因为默认值是16。

python -m vllm.entrypoints.openai.api_server --max-lora-rank 64 \n--model model_name \n--enable-lora \n--lora-modules lora-name=lora_path

它没有被很好地记录下来，但在提供服务时，你需要传入 "-max-lora-rank 64" 或类似的东西，因为默认值是16。

python -m vllm.entrypoints.openai.api_server --max-lora-rank 64 --model model_name --enable-lora --lora-modules lora-name=lora_path

感谢回答，这对我也有帮助。对于使用代码的人，可以在这里找到：

llm = LLM(
            model=args.model, tensor_parallel_size=torch.cuda.device_count(), 
            dtype=args.dtype, trust_remote_code=True, enable_lora=True, max_lora_rank=64
        )

解答1:$2^{n}$

解答2:$2^{64}$

我们能否获得支持并合并Lora排名>64的版本？
编辑：我还好奇这是否是设计成支持最多64个等级，如果是的话请告诉我。

Bump.我需要更大得多的适配器来支持。谢谢

关于lora rank >64有什么特殊之处吗？想知道为什么只支持 <=64。