我正在使用一个基于12.1版本的nvidia/cuda容器作为基础。这对于vllm单元来说非常完美,但是当你切换到使用cupy时,cupy导入会破坏vllm,无论你使用多少个tensor-parallel。我已经仔细检查过了,cuda版本(12.1)和cupy(cupy-cuda12x)应该是兼容的。关于这个问题,有什么建议或指导吗?
xwbd5t1u1#
可能相关的: #3625
1条答案
按热度按时间xwbd5t1u1#
可能相关的: #3625