我正在尝试使用vLLM与Langchain,但遇到了这个错误：ImportError: /usr/local/lib/python3.10/dist-packages/vllm/_C.cpython-310-x86_64-linux-gnu.so: undefined symbol: _ZN2at4_ops15to_dtype_layout4callERKNS_6TensorEN3c108optionalINS5_10ScalarTypeEEENS6_INS5_6LayoutEEENS6_INS5_6DeviceEEENS6_IbEEbbNS6_INS5_12MemoryFormatEEE
CUDA: 12.0.1
torch: 2.2.1
transformers: 4.38.2
vllm: 0.3.2
accelerate: 0.27.2
如果有人解决了这个问题，请帮忙。
2条答案
按热度按时间6gpjuf901#
更新：
通过将torch降级到2.1.2来解决此问题。
4ktjp1zp2#
损失符号：at::_ops::to_dtype_layout::call(const at::Tensor &, c10::optionalc10::ScalarType, c10::optionalc10::Layout, c10::optionalc10::Device, c10::optional, bool, bool, c10::optionalc10::MemoryFormat)
这只是一个torch版本问题，vllm不关心这个。