gpt-2 ResourceExhaustedError：分配具有形状[3，16，1024，1024]的Tensor时出现OOM

tyu7yeag 于 6个月前发布在其他

关注(0)|答案(1)|浏览(150)

我在双GTX 1080 i-8 GB RAM上训练模型345 M时出现此错误。

ResourceExhaustedError (see above for traceback): OOM when allocating tensor with shape[3,16,1024,1024] and type float on /job:localhost/replica:0/task:0/device:GPU:0 by allocator GPU_0_bfc

gpt-2

来源：https://github.com/openai/gpt-2/issues/173

1条答案

按热度按时间

anhgbhbe1#

难道它不需要相同数量的内存为每个？在CPU上，它花了~ 11 GB的训练345 M，所以我猜没有24 GB的泰坦它是行不通的？

赞(0）回复(0）举报 6个月前

我来回答

gpt-2 ResourceExhaustedError：分配具有形状[3，16，1024，1024]的Tensor时出现OOM

1条答案

相关问题

热门标签

最新问答