目前，'https://hub.docker.com/r/vllm/vllm-openai/'镜像使用的是Cuda 12.1版本，这会根据底层GPU上使用的驱动程序引发许多CUDA版本问题。
这使得该镜像在运行vast ai或runpod等服务时成为一个不一致的起点。
Docker镜像是否可以更新以更动态地支持从11.8及更高版本的CUDA?
目前，'https://hub.docker.com/r/vllm/vllm-openai/'镜像使用的是Cuda 12.1版本，这会根据底层GPU上使用的驱动程序引发许多CUDA版本问题。
这使得该镜像在运行vast ai或runpod等服务时成为一个不一致的起点。
Docker镜像是否可以更新以更动态地支持从11.8及更高版本的CUDA?
2条答案
按热度按时间sdnqo3pr1#
为了比较，文本生成推理的Docker镜像没有这些问题。请参阅 here。
sauutmhj2#
真的期待一个支持cuda 11.8的官方镜像，或者请提供一个关于如何构建cuda 11.8版本vllm-openai镜像的指南。