自己fine-tune的模型是通过GPU来训练的，预测函数也是自己简单写的。使用hub serving start -m xxx并不是通过CPU来预测，而是GPU预测。需要修改预测函数代码，通过更改hub.config里use_cuda的属性来实现是否需要通过GPU预测。
hub serving start -m xxx
hub.config
use_cuda
上面的方法只能通过config配置文件的启动方式来选择是否启动GPU,通过hub命令--use_gpu的方式还是无法控制是否启动GPU。请问如何让--use_gpu生效？
config
hub
--use_gpu
3yhwsihp1#
自己fine-tune的训练模型 怎么写让hub命令里的参数生效。为什么 --port 可以生效 ，--use_gpu不生效。
x4shl7ld2#
可以在你的predict方法中打印use_gpu，看是否传入了正确参数
l3zydbqr3#
不生效。如果在fine_tune时，参数use_cuda=True,模型预测时就是GPU预测，而不会是CPU。想要实现GPU和CPU的切换必须通过use_cuda才可以，有什么其他办法实现使用--use_gpu吗？
3条答案
按热度按时间3yhwsihp1#
自己fine-tune的训练模型 怎么写让hub命令里的参数生效。为什么 --port 可以生效 ，--use_gpu不生效。
x4shl7ld2#
可以在你的predict方法中打印use_gpu，看是否传入了正确参数
l3zydbqr3#
不生效。如果在fine_tune时，参数use_cuda=True,模型预测时就是GPU预测，而不会是CPU。想要实现GPU和CPU的切换必须通过use_cuda才可以，有什么其他办法实现使用--use_gpu吗？