模型管理
手动方法几乎无法管理模型,并生成哈希值。我试图将一些模型移动到冷存储(例如HDD),一些移动到SSD,但找不到除了完全仓库迁移之外的方法,我面临着这个问题。
这种类型的管理由于传输量巨大而耗费大量时间,为什么一个模型会产生数百个blob?难道不能将其存储到每个模型的文件夹中,而不是到处乱放吗?我的最佳选择是检查修改日期并执行任务。
建议
ollama archive <model_name> <Disk_or_path>
ollama pull <Disk_or_path>
将显示要恢复到缓存的哪些模型的选项。
紧急请求
观察
一些用户报告说ollama pull需要很长时间,我怀疑SSD的特性是为了避免创建巨大的预留空间。在任务管理器的前几秒钟显示为1GB/s,然后下降到200,令人遗憾的5MB/s。这可能是写保护机制。也许可以尝试分块下载和合并?或者使用像huggingface这样的加载器,如_part001 _part002用于层加载?
@bmizerany@drnic@anaisbetts@sqs@lstep
2条答案
按热度按时间pbgvytdp1#
请不要在GitHub问题中抄送随机的人。我不是该项目的维护者。
wvt8vs2t2#
一个模型不应该生成数百个blob。文件是否有后缀?这可能表示下载失败,重新拉取模型可能会有所帮助。
构成模型的所有blob都在模型清单中列出,一个简单的shell脚本可以利用这些信息来管理blob(例如,复制到新位置并创建符号链接回blob存储)。
我注意到你提到的传输速度变慢,在我看来,这似乎是源端对流量进行了限速。我发现如果我停止并重新启动拉取过程,下载速率会饱和我的链接。