运行报错,目前是不支持多卡运行吗?
jdgnovmf1#
运行报错,目前是不支持多卡运行吗?支持多卡的,请提供一下启动的相关信息(启动方式、GPU配置以及模型等)。
kmbjn2e32#
是用Docker Compose启动的。GPU是NVIDIA GeForce RTX 2080。模型:glm-4-9b-chat text2vec-large-chinese vicuna-13b-v1.5。
2条答案
按热度按时间jdgnovmf1#
运行报错,目前是不支持多卡运行吗?
支持多卡的,请提供一下启动的相关信息(启动方式、GPU配置以及模型等)。
kmbjn2e32#
是用Docker Compose启动的。
GPU是NVIDIA GeForce RTX 2080。
模型:glm-4-9b-chat text2vec-large-chinese vicuna-13b-v1.5。