尝试自己添加这个,但一直遇到问题:
- 提示模板不起作用,所以我尝试使用llama.cpp进行量化,因为这可能是ollama自动量化的问题。这是我无法正常工作的提示模板,供大家参考:
<|im_start|>user
{{ .Prompt }}<|im_end|>
<|im_start|>assistant
- llama.cpp不起作用,因为模型页面没有tokenizer.model文件。比我更有经验的人,请帮忙😭
此外,HF页面推荐使用以下参数:
PARAMETER temperature 0.6
PARAMETER top_p 0.92
4条答案
按热度按时间lztngnrs1#
看起来他们所有模型页面上的HF推断都失效了...
这与我使用chatMl提示模板(上面给出的)得到的大致相同的输出。
tf7tbtn22#
这个空间似乎可以工作。也许应该从这里复制参数?
$x_1e^{0}f_1^x$
lkaoscv73#
我正在考虑将这个模型添加到库中。它可以使用Ollama转换进行转换和运行。以下是我运行它的方法:
Modelfile
文件:这个模型似乎在其指令形式中针对非常具体的指令进行了训练:
有人有什么建议吗?考虑到模型的大小,这应该是我所期望的。
ne5o7dgx4#
它可以使用Ollama转换器进行转换和运行。我也使用Ollama转换器运行了,但一直得到这个输出,所以我想可能出了什么问题?毕竟-Ollama转换器并不适用于所有情况。