vllm Cupy在Docker中的导入错误

nwsw7zdq  于 2个月前  发布在  Docker
关注(0)|答案(1)|浏览(41)

我正在使用一个基于12.1版本的nvidia/cuda容器作为基础。这对于vllm单元来说非常完美,但是当你切换到使用cupy时,cupy导入会破坏vllm,无论你使用多少个tensor-parallel。我已经仔细检查过了,cuda版本(12.1)和cupy(cupy-cuda12x)应该是兼容的。关于这个问题,有什么建议或指导吗?

相关问题