你好，我使用LLama-Factory对Qwen 0.5 B模型进行了全面的SFT,在此过程中，我指定了模板参数。我对是否应该为qwen模型使用模板感到有些困惑。我在线上搜索，但没有发现很多关于在什么情况下应该使用“chat-template”参数的信息。有人能给我一些建议吗？谢谢。
mefy6pfw1#
我认为你必须这样做。当我使用VLLM测试Qwen1.5时，我发现如果我不指定QW的聊天模板，生成的结果很糟糕。
htzpubme2#
我认为你必须这样做。当我使用VLLM测试Qwen1.5时，我发现如果我不指定QW的聊天模板，生成的结果很糟糕。谢谢你的回答。请问如何指定模板？我看到有template_baichuan.jinja模板用于百度传书和chatglm,但没有qwen。
0yg35tkg3#
你可以参考聊天模板https://huggingface.co/Qwen/CodeQwen1.5-7B-Chat,并手动添加它。
fbcarpbf4#
嘿，Jee!我已经按照你描述的添加了聊天模板。但是我注意到与我之前实验的其他模型(如llama2)相比，推理速度较慢。你觉得这是正常的吗？即使设置了max_tokens = 128,每个生成请求也需要30秒才能返回。你认为我需要为此创建一个新的工单吗？
4条答案
按热度按时间mefy6pfw1#
我认为你必须这样做。当我使用VLLM测试Qwen1.5时，我发现如果我不指定QW的聊天模板，生成的结果很糟糕。
htzpubme2#
我认为你必须这样做。当我使用VLLM测试Qwen1.5时，我发现如果我不指定QW的聊天模板，生成的结果很糟糕。
谢谢你的回答。请问如何指定模板？我看到有template_baichuan.jinja模板用于百度传书和chatglm,但没有qwen。
0yg35tkg3#
你可以参考聊天模板https://huggingface.co/Qwen/CodeQwen1.5-7B-Chat,并手动添加它。
fbcarpbf4#
嘿，Jee!我已经按照你描述的添加了聊天模板。但是我注意到与我之前实验的其他模型(如llama2)相比，推理速度较慢。你觉得这是正常的吗？即使设置了max_tokens = 128,每个生成请求也需要30秒才能返回。
你认为我需要为此创建一个新的工单吗？