vllm 尝试运行最新Docker容器时出错,

zvms9eto 于 4个月前发布在 Docker

关注(0)|答案(2)|浏览(132)

从错误信息来看，问题出在无法找到libcudart.so.11.0这个共享库文件。这可能是因为你的系统中安装的CUDA版本与vllm所需的版本不匹配。你提到使用nvidia/cuda:12.1.0-devel-ubuntu22.04应该不会出现问题，但实际上它需要的是CUDA 11.8。

要解决这个问题，你可以尝试在Dockerfile中指定安装CUDA 11.8。首先，你需要创建一个名为Dockerfile.gpu118的新文件，然后在其中添加以下内容：

FROM nvidia/cuda:11.8.0-devel-ubuntu22.04

# 其他Dockerfile指令

接下来，确保在构建镜像时使用新创建的Dockerfile.gpu118文件。例如，如果你之前使用的是Dockerfile,现在应该使用docker build --file Dockerfile.gpu118 -t your_image_name .命令来构建镜像。

这样，你的镜像将基于CUDA 11.8进行构建，应该可以解决找不到libcudart.so.11.0的问题。

vllm

来源：https://github.com/vllm-project/vllm/issues/2178

2条答案

按热度按时间

mdfafbf11#

Have you try this? https://docs.vllm.ai/en/latest/getting_started/installation.html

# Install vLLM with CUDA 11.8.
export VLLM_VERSION=0.2.4
export PYTHON_VERSION=39
pip install https://github.com/vllm-project/vllm/releases/download/v${VLLM_VERSION}/vllm-${VLLM_VERSION}+cu118-cp${PYTHON_VERSION}-cp${PYTHON_VERSION}-manylinux1_x86_64.whl

# Re-install PyTorch with CUDA 11.8.
pip uninstall torch -y
pip install torch --upgrade --index-url https://download.pytorch.org/whl/cu118

# Re-install xFormers with CUDA 11.8.
pip uninstall xformers -y
pip install --upgrade xformers --index-url https://download.pytorch.org/whl/cu118

赞(0）回复(0）举报 4个月前

relj7zay2#

我不得不切换到13.0的base cupy/cupy docker镜像，然后安装vllm,它将cupy安装降级到正确的版本。

赞(0）回复(0）举报 4个月前