k8s拉起xinference能够pod,running,但是内置的模型,不能运行起来;但是手动进入pod里面,执行命令后,能够把模型运行起来,显存成功占用,是为什么

qlvxas9a  于 6个月前  发布在  其他
关注(0)|答案(1)|浏览(54)

系统信息 / 系统信息

是否使用 Docker 运行 Xinference? / 是否使用 Docker 运行 Xinfernece?

  • docker / docker
  • pip install / 通过 pip install 安装
  • installation from source / 从源码安装

版本信息 / 版本信息

latest

用以启动 xinference 的命令 / 用以启动 xinference 的命令

手动进入pod后,运行注册模型,和启动模型,模型成功运行;(以一张卡为例)

复现过程 / 复现过程

手动进入pod后,运行注册模型,和启动模型,模型成功运行;(以一张卡为例)

期待表现 / 期待表现

希望能够直接通过k8s拉起模型

puruo6ea

puruo6ea1#

我也是使用k8s部署的,没有遇到什么问题。请查看xinference的具体报错信息。

相关问题