目前，多LoRA仅支持Llama和Mistral架构。我们应该将此功能扩展到所有架构。Yi、Qwen、Phi和Mixtral架构似乎是目前最需要的。一个挑战将是确保所有允许的权重形状都得到punica内核的支持。我们可能需要在那里调查某种填充。
deyfvvtc1#
是否有可能添加"GPT-NeoX"?
4sup72z82#
how about "chatglm" ?
a5g8bdjr3#
@Yard1 我对将此扩展到其他架构感兴趣，你想一起讨论一下需要解决的问题吗？
ttvkxqim4#
+1,为Phi-3.0(任何Phi现在)
翻译结果：+1,为Phi-3.0(任何Phi现在)
hujrc8aj5#
+1 for Qwen
bxgwgixi6#
6条答案
按热度按时间deyfvvtc1#
是否有可能添加"GPT-NeoX"?
4sup72z82#
how about "chatglm" ?
a5g8bdjr3#
@Yard1 我对将此扩展到其他架构感兴趣，你想一起讨论一下需要解决的问题吗？
ttvkxqim4#
+1,为Phi-3.0(任何Phi现在)
翻译结果：+1,为Phi-3.0(任何Phi现在)
hujrc8aj5#
+1 for Qwen
bxgwgixi6#
+1 for Qwen