问题描述：
朋友们，希望有人能在这里帮助我或者给我指明方向。我觉得这可能是与transformers的集成问题？我不明白为什么在transformers中会输出乱码，但vLLM却可以正常工作。我认为这可能与解码策略/采样有关，但考虑到我的以下非常奇怪的观察结果，这种说法似乎也不对：

1. 这个8位Llama 3量化模型在使用vLLM进行推理时表现得非常好。参数和提示完全相同，但使用huggingface transformers的model.generate()和文本生成管道时会出现乱码。
2. 我再次使用不同的包版本重新量化它。同样的问题：如果使用transformers,会出现乱码，但在使用vLLM推理时表现良好。
3. 我也使用相同的数据集、环境、脚本和设置制作了一个4位量化模型，但这个4位模型在使用vLLM和transformers时表现良好。使用transformers时不会出现乱码。基本上没有任何问题。我已经将4位模型列在下面。这是我最困惑的部分......

8位量化配置(乱码8位模型)

quantize_config = BaseQuantizeConfig(
        bits=8,
        group_size=32,
        desc_act=True,
        damp_percent=0.1,
        true_sequential=True,
        sym=True,
)

与4位模型量化配置(在没有乱码的情况下表现良好的模型)相比

quantize_config = BaseQuantizeConfig(
        bits=4,
        group_size=128,
        desc_act=True,
        damp_percent=0.1,
        true_sequential=True,
        sym=True,
)

量化数据集

• 500行或随机的wikitext片段
• 我觉得数据集不是问题，因为使用model.generate()表现良好的4位模型使用的是完全相同的数据集。

推理脚本：

import torch
import transformers
print(transformers.__version__)

from transformers import AutoModelForCausalLM, AutoTokenizer, LocalAgent, GPTQConfig, Tool, pipeline
model = AutoModelForCausalLM.from_pretrained("astronomer/Llama-3-8B-Instruct-GPTQ-8-Bit", torch_dtype=torch.bfloat16, device_map="cuda:0")
tokenizer = AutoTokenizer.from_pretrained("astronomer/Llama-3-8B-Instruct-GPTQ-8-Bit", torch_dtype=torch.bfloat16)

messages = [
    {"role": "system", "content": "You are a helpful assistant"},
    {"role": "user", "content": "Who made you?"},
]
tokenized_chat = tokenizer.apply_chat_template(messages, tokenize=True, add_generation_prompt=True, return_tensors="pt").to('cuda:0')
print(tokenizer.decode(tokenized_chat[0]))
output = model.generate(inputs=tokenized_chat, temperature=0.7, max_new_tokens=100)
print(tokenizer.decode(output[0]))

输出：

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

You are a helpful assistant<|eot_id|><|start_header_id|>user<|end_header_id|>

Who made you?<|eot_id|><|start_header_id|>assistant<|end_header_id|>

_<? Shoreuros_<?_<? fø_<?�470_<?_<? тру_<?utzer�_<?_<?_<?utzeremmeimersonse_<?_<?_<?_<?ribaimersutzer_<?emouth_<?_<?_<?_<?utzer姫utzer_<?utzerregon snaimers469_<?_<?_<?_<?_<?_<?utzerregonutzerutzerutzerutzerutzer_<?utzer-reduxutzeronseutzerutzer_<?utzer_<?emmeimers_<?_<?_<?utzeronse_<?utzer_<?_<? snaimers cubutzer snaimers_<?_<?_<?_<?utzerutzerecessonse_<?_<?_<?_<?_<?_<?_<? Shore

还尝试使用AutoGPTQ加载模型，结果也是乱码

from auto_gptq import AutoGPTQForCausalLM, BaseQuantizeConfig
gptq_model = AutoGPTQForCausalLM.from_quantized("astronomer/Llama-3-8B-Instruct-GPTQ-8-Bit", device="cuda:0")
tokenized_chat = tokenizer.apply_chat_template(messages, tokenize=True, add_generation_prompt=True, return_tensors="pt").to('cuda:0')
print(tokenizer.decode(tokenized_chat[0]))
output = gptq_model.generate(inputs=tokenized_chat, temperature=0.7, max_new_tokens=100)
print(tokenizer.decode(output[0]))

软件版本：

transformers: 尝试了4.38.2和4.40.0dev
auto_gptq: 0.7.1
optimum: 1.19.1