我尝试修改源代码以支持Lora加载internlm2模型，load lora是好的，但推理结果不正确。
具体的修改包括：

1. 添加supported_lora_modules:

models/internlm2.py:
`class InternLM2ForCausalLM(nn.Module):
packed_modules_mapping = {
"wqkv":["wqkv"],
"gate_up_proj": [
"w1",
"w3",
],
}

# LoRA specific attributes
supported_lora_modules = [
    "wqkv",
    "wo",
    "gate_up_proj",
    "w2",
]
embedding_modules = {}
embedding_padding_modules = []`

2. 添加vocab_size 92544支持：

bgmv_config.h
f(in_T, out_T, W_T, narrow, 92544)
我不知道问题出在哪里，有人能帮我吗？

替代方案

• 无响应*

其他上下文

• 无响应*