gguf模型中使用频率最高的两个参数是：IMO:temp(温度)和mode要使用的gpu层数。但是gpu层数已经“嵌入”到ollama模型模板文件中。这意味着我们必须创建一个新的模型，并使用新的gpu层数-仅仅为了改变它。是的，我明白在模型加载后无法更改gpu层数。但即使如此，为了更改gpu层卸载参数而创建新的模型文件仍然是过度的。
rekjcdws1#
感谢您的反馈@JoseConseco,在Ollama的最后几个版本中，您实际上可以在交互模式下指定此内容。
ollama run llama2 >>> /set parameter num_gpu 12 Set parameter 'num_gpu' to '12' >>>
这是否有助于您的用例？
vshtjzan2#
很棒。这是关于ollama(需要创建自定义模型，更改GPU层)最令人烦恼的事情之一。当/set parameter num_gpu 12起作用时——在设置GPU层后，模型会在下一个提示符后重新加载。我得测试一下这是否有所帮助，如果模型太大而无法加载到显存中。我想在那种情况下，ollama会出错，我将无法使用/set parameter num_gpu 12,对吗？在这种情况下，用户将不得不创建新的模型文件......是否有类似于从一开始就设置GPU层的选项——例如：ollama run model.xyz -gpu-layer n?
/set parameter num_gpu 12
ollama run model.xyz -gpu-layer n
lkaoscv73#
@JoseConseco 将它设置为一个标志目前不是一个选项，然而现在正在进行大量的工作，以便在运行模型时默认加载最佳数量的层。
hzbexzde4#
我们可以通过以下参数设置num_gpu的值。但是我找不到如何获取当前值的方法？以及可以参考哪些指标来设置这个值？
4条答案
按热度按时间rekjcdws1#
感谢您的反馈@JoseConseco,在Ollama的最后几个版本中，您实际上可以在交互模式下指定此内容。
这是否有助于您的用例？
vshtjzan2#
很棒。这是关于ollama(需要创建自定义模型，更改GPU层)最令人烦恼的事情之一。
当
/set parameter num_gpu 12起作用时——在设置GPU层后，模型会在下一个提示符后重新加载。我得测试一下这是否有所帮助，如果模型太大而无法加载到显存中。我想在那种情况下，ollama会出错，我将无法使用
/set parameter num_gpu 12,对吗？在这种情况下，用户将不得不创建新的模型文件......是否有类似于从一开始就设置GPU层的选项——例如：
ollama run model.xyz -gpu-layer n?lkaoscv73#
@JoseConseco 将它设置为一个标志目前不是一个选项，然而现在正在进行大量的工作，以便在运行模型时默认加载最佳数量的层。
hzbexzde4#
我们可以通过以下参数设置num_gpu的值。但是我找不到如何获取当前值的方法？以及可以参考哪些指标来设置这个值？