在Colab上按照示例代码运行：
outputs = model.generate(**inputs, do_sample=True, temperature=0.7, top_p=0.8, repetition_penalty=1.1, max_new_tokens=128)
这段命令报错
h6my8fg21#
单精度推理无法在CPU上执行，您需要将model与input全部转移到您的GPU上，或者将model的dtype设置为torch.float32。
model
input
dtype
torch.float32
km0tfn4u2#
我有GPU，但是感觉他没有用？
kyxcudwk3#
感觉是colab的锅
5f0d552i4#
您可能需要运行：
model = model.cuda() inputs["input_ids"] = inputs["input_ids"].cuda() inputs["attention_mask"] = inputs["attention_mask"].cuda()
rdrgkggo5#
不用，不用，是colab的问题，显示有GPU实际上没有。
elcex8rz6#
运行时错误：CUDA错误：设备上没有可用于执行的内核映像CUDA内核错误可能会在其他API调用中异步报告，因此下面的堆栈跟踪可能不正确。为了调试，请考虑传递CUDA_LAUNCH_BLOCKING=1。
lymnna717#
还是不行，可以尝试在Colab上运行示例代码吗？感觉跑不通。
tkclm6bt8#
我们需要提供一个Colab的示例代码吗？
bvk5enib9#
base 模型下载到colab用了多长时间
9条答案
按热度按时间h6my8fg21#
单精度推理无法在CPU上执行，您需要将
model与input全部转移到您的GPU上，或者将model的dtype设置为torch.float32。km0tfn4u2#
我有GPU，但是感觉他没有用？
kyxcudwk3#
感觉是colab的锅
5f0d552i4#
您可能需要运行：
rdrgkggo5#
不用，不用，是colab的问题，显示有GPU实际上没有。
elcex8rz6#
运行时错误：CUDA错误：设备上没有可用于执行的内核映像
CUDA内核错误可能会在其他API调用中异步报告，因此下面的堆栈跟踪可能不正确。
为了调试，请考虑传递CUDA_LAUNCH_BLOCKING=1。
lymnna717#
还是不行，可以尝试在Colab上运行示例代码吗？感觉跑不通。
tkclm6bt8#
我们需要提供一个Colab的示例代码吗？
bvk5enib9#
我有GPU，但是感觉他没有用？
base 模型下载到colab用了多长时间