系统信息 / 系统信息

11

是否使用 Docker 运行 Xinference? / 是否使用 Docker 运行 Xinfernece?

• docker / docker
• pip install / 通过 pip install 安装
• installation from source / 从源码安装

版本信息 / 版本信息

xinference, version 0.13.1

用以启动 xinference 的命令 / 用以启动 xinference 的命令

docker run --shm-size=4g --name inferencex -v /apps/users/xrp/model:/opt/inference/model/ -e XINFERENCE_HOME=/opt/inference/model/ -p 9998:9997 --gpus all -d registry.cn-hangzhou.aliyuncs.com/xprobe_xinference/xinference:latest xinference-local -H 0.0.0.0 --log-level debug

复现过程 / 复现过程

docker run --shm-size=4g --name inferencex -v /apps/users/xrp/model:/opt/inference/model/ -e XINFERENCE_HOME=/opt/inference/model/ -p 9998:9997 --gpus all -d registry.cn-hangzhou.aliyuncs.com/xprobe_xinference/xinference:latest xinference-local -H 0.0.0.0 --log-level debug
然后容器中model目录中已经存在deepseek-llm-7b-chat,模型，但是使用xinference launch --model-engine vllm -u deepseek-llm-7b-chat -n deepseek-llm-7b-chat -s 7 -f pytorch --gpu_memory_utilization 0.8命令启动模型直接报错失败；这个命令是默认下载模型权重到model/cache目录吗，不能直接加载model目录下的模型吗？

期待表现 / 期待表现

希望能成功加载模型