与9b相比，27b的速度非常慢。这是因为结构的原因吗？
Linux
Nvidia
AMD
0.1.49预发布版
h9vpoimq1#
是的，所有其他型号34b的速度都要快几倍。
3pvhb19x2#
是的，所有其他型号34b的速度都要快几倍。它似乎比llama3 70b慢三倍。
ncgqoxb03#
对不起，llama 3 70B比gemma2:27b运行得更快吗？请问您使用的是哪种Nvidia GPU?我注意到您正在使用一个预发布版本。在0.2版本中仍然会出现这种情况吗？
fykwrbwg4#
对不起，llama 3 70B比gemma2:27b运行得更快吗？请问您使用的是哪种Nvidia GPU?我注意到您正在使用一个预发布版本。在0.2版本中仍然会发生这种情况吗？我只测试过0.1.49版本。今天更新后我会再测试一下。使用的GPU是rtx4090,型号是https://ollama.com/library/gemma2:27b-text-q3_K_M。
4条答案
按热度按时间h9vpoimq1#
是的，所有其他型号34b的速度都要快几倍。
3pvhb19x2#
是的，所有其他型号34b的速度都要快几倍。
它似乎比llama3 70b慢三倍。
ncgqoxb03#
对不起，llama 3 70B比gemma2:27b运行得更快吗？
请问您使用的是哪种Nvidia GPU?我注意到您正在使用一个预发布版本。在0.2版本中仍然会出现这种情况吗？
fykwrbwg4#
对不起，llama 3 70B比gemma2:27b运行得更快吗？
请问您使用的是哪种Nvidia GPU?我注意到您正在使用一个预发布版本。在0.2版本中仍然会发生这种情况吗？
我只测试过0.1.49版本。今天更新后我会再测试一下。
使用的GPU是rtx4090,型号是https://ollama.com/library/gemma2:27b-text-q3_K_M。