🚀 功能、动机和介绍
HuggingFace上的配置文件可能缺少信息(例如：#2051)或包含错误(例如：#4008)。在这种情况下，可能需要提供/覆盖配置文件以使模型正确加载。然而，除了聊天模板之外，目前没有这样做的方法；我们必须直接更新源HuggingFace仓库。这可能需要一段时间才能让这些仓库的作者回复，特别是如果它们是非官方的且维护得不好的话。
如果我们能通过vLLM CLI提供自己的config.json、tokenizer_config.json等补丁，那就太好了。
相关工作
#1756允许我们在tokenizer_config.json中指定替代聊天模板或在缺失聊天模板时提供一个聊天模板。然而，它目前仅适用于与OpenAI API兼容的服务器。#5049将在主要LLM入口点添加聊天方法，但不提供像#1756那样的内置自动加载聊天模板的方式。
一些vLLM模型已经将补丁硬编码到HuggingFace config.json中；这些可以在vllm/transformers_utils/configs下找到。
6条答案
按热度按时间px9o7tmv1#
默认情况下，LLM模型从Huggingface/ModelScope下载。我们是否可以从本地文件路径、私有仓库或S3对象存储加载模型？当我们尝试在本地环境中部署它时，如何从本地存储路径(支持的模型如vLLM)获取模型？
2j4z5cfb2#
默认情况下，LLM模型是从Huggingface/ModelScope下载的。我们是否可以从本地文件路径、私有仓库或S3对象存储加载模型？当我们尝试在本地环境中部署它时，如何从本地存储路径(如vLLM支持的模型)获取模型？
实际上，这已经得到了支持——只需将文件路径传递给
--model即可。kokeuurv3#
从错误信息来看，问题出在无法加载模型配置文件。请确保
pvc://kubeflow-shared-pvc/llm-mlflow/opt-125m路径下存在一个名为config.json的文件。如果路径正确，但仍然出现问题，请检查是否有同名的本地目录。tzxcd3kk4#
哦，我错过了你使用对象存储的部分。我只是说支持本地文件路径。
smtd7mpg5#
哦，我错过了你使用对象存储的部分。我的意思是只支持本地文件路径。这意味着它不支持对象存储的持久存储卷路径，只能支持本地文件路径。
wnrlj8wa6#
哦，我错过了你使用对象存储的部分。我的意思是只支持本地文件路径。
这意味着它不支持对象存储的持久化存储卷路径。它只能支持本地文件路径。
是的，这是真的。我认为支持非本地文件路径应该有自己的PR/问题。