Linly lora训练得到的lora权重如何融合原模型

7rfyedvj  于 4个月前  发布在  其他
关注(0)|答案(5)|浏览(184)

LoRa训练得到的权重如何与原始模型融合,因为llama-inference没有提供加载LoRa权重的地方。

eqfvzcg8

eqfvzcg81#

请问这个问题你解决了吗?我也遇到了相同的问题。

jpfvwuh4

jpfvwuh42#

请问这个问题你解决了吗?我也遇到了相同的问题。

解决了,llama-inference添加带lora的模型,并加载对应权重即可正常推理。

hgncfbus

hgncfbus3#

请问这个问题你解决了吗?我也遇到了相同的问题。

解决了,llama-inference添加带lora的模型,并加载对应权重即可正常推理。

请问lora精调之后有出现生成乱码的情况吗?我是在TencentPretrain框架下lora训练,修改了llama-inference/model/llama.py模型来支持加载lora参数,但加载后生成结果是各种语言组成的乱码。方便看一下具体是怎样添加和加载的吗,超级感谢~

rqqzpn5f

rqqzpn5f4#

请问这个问题你解决了吗?我也遇到了相同的问题。

解决了,llama-inference添加带lora的模型,并加载对应权重即可正常推理。

能共享下代码吗?尝试几个加载的方法都不对。

2ekbmq32

2ekbmq325#

请问在训练LoRa时,您遇到了什么问题?我看到在tencentpretrain中,LoRa流程分为两步。第一步是使用--pretrained_model_path models--use_lora --lora_dropout 0.05仅训练一个LoRa权重;第二步是通过--lora_pretrained_model_path --pretrained_model_path models --use_lora --lora_dropout 0.05加载并再次训练已训练好的LoRa权重。然而,在实际训练过程中,无论是在第一步还是第二步,损失值都没有降低,不知道大家是否也遇到过这个问题?

相关问题