DB-GPT LLMServer 生成错误,请检查错误信息:预期所有Tensor都在同一个设备上,但至少发现了两个设备,cuda:2 和 cuda:1!

83qze16e  于 4个月前  发布在  其他
关注(0)|答案(2)|浏览(66)

运行报错,目前是不支持多卡运行吗?

jdgnovmf

jdgnovmf1#

运行报错,目前是不支持多卡运行吗?
支持多卡的,请提供一下启动的相关信息(启动方式、GPU配置以及模型等)。

kmbjn2e3

kmbjn2e32#

是用Docker Compose启动的。
GPU是NVIDIA GeForce RTX 2080。
模型:glm-4-9b-chat text2vec-large-chinese vicuna-13b-v1.5。

相关问题