问题是什么？
在运行mixtral:8x22b时，它无法给出任何有意义的结果：
>>> What is the capital of france? ANSWER:
>>> hi
#" #$
>>>只是一些无意义的字符
你期望看到什么？
当我运行
ollama run dolphin-mixtral输出是
>>> What is the capital of france? ANSWER:
The capital of France is Paris.重现步骤
我在OSX 14.1.1(M2 Max / 96 GB RAM)上运行ollama 0.1.32
是否有最近的更改引入了这个问题？
- 没有回应*
操作系统
macOS
架构
arm64
平台
- 没有回应*
Ollama版本
0.1.32
GPU
Apple
GPU信息
M2 MAX / 96GB RAM
CPU
Apple
其他软件
- 没有回应*
4条答案
按热度按时间d7v8vwbk1#
在macOS上使用Wizard时，0.1.32版本的响应结果相同：带有标签的乱码响应
也许与模板有关？👋 @sebastiandeutsch
yrdbyhpb2#
感谢您的反馈，对此表示抱歉。我认为这可能是由于在CPU/GPU层分割模型导致的。同时，您尝试使用
/set parameter num_gpu 0,答案是否变得可理解？(请注意，Mixtral 8x22b是一个文本补全模型)此外，您是否在
wizardlm2:8x22b上看到了类似的问题？wfveoks03#
/set parameter num_gpu 0成功解决了输出问题，感谢❤️vsaztqbk4#
我对于所有8x22型号的设备都遇到了同样的问题，num_gpu 0可以解决这个问题，但是它们运行速度非常慢(因为在这种情况下GPU似乎无法全速运行)。