Baichuan-7B 有关哪个模型推理

l7wslrjt 于 5个月前发布在其他

关注(0)|答案(4)|浏览(91)

你好，根据你提供的错误信息，这个问题可能是由于模型文件损坏或者不兼容导致的。你可以尝试以下方法解决：

确保你的模型文件是正确的。如果你是从Hugging Face Model Hub下载的模型，可以尝试重新下载。
如果模型文件没有问题，那么可能是PyTorch版本与模型不兼容。你可以尝试升级或降级PyTorch版本，以匹配你的模型。具体操作如下：
- 打开命令行窗口，运行以下命令查看当前PyTorch版本：
```
pip show torch
```
- 根据需要升级或降级PyTorch版本。例如，如果你想升级到最新版本，可以运行：
```
pip install --upgrade torch
```
- 安装完成后，再次运行第一步的命令确认PyTorch版本是否已更新。
如果以上方法都无法解决问题，你可以尝试在加载模型时设置from_tf=True,强制使用TensorFlow格式的检查点文件。修改后的代码如下：

model = AutoModelForCausalLM.from_pretrained("/media/sdc/baichuan/baichuan-7B", device_map="auto", trust_remote_code=True, from_tf=True)

希望这些建议能帮助你解决问题。如果还有其他问题，请随时提问。

Baichuan-7B

来源：https://github.com/baichuan-inc/Baichuan-7B/issues/76

4条答案

按热度按时间

yhived7q1#


# 推理代码：

from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("baichuan-inc/baichuan-7B", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("baichuan-inc/baichuan-7B", device_map="auto", trust_remote_code=True)
inputs = tokenizer('登鹳雀楼->王之涣
夜雨寄北->', return_tensors='pt')
inputs = inputs.to('cuda:0')
pred = model.generate(**inputs, max_new_tokens=64, repetition_penalty=1.1)
print(tokenizer.decode(pred.cpu()[0], skip_special_tokens=True))

赞(0）回复(0）举报 5个月前

6za6bjd02#

遇到了同样问题，请问怎么解决的？

赞(0）回复(0）举报 5个月前

ltskdhd13#

@adzhua 还没解决，等大佬回复

赞(0）回复(0）举报 5个月前

o2rvlv0m4#

看起来是模型文件损坏了，删了重下试试有用没？

赞(0）回复(0）举报 5个月前