pytorch 当有足够的缓存内存时,无法分配GPU内存

6tdlim6h  于 12个月前  发布在  其他
关注(0)|答案(1)|浏览(210)

我正在AWS EC2 Deep Learning AMI机器(Ubuntu 18.04.3 LTS(GNU/Linux 4.15.0-1054-aws x86_64v))上使用Python 3(CUDA 10.1和Intel MKL)(Pytorch 1.3.1)* 从头开始训练vgg 16模型,更新模型参数时遇到以下错误。
RuntimeError:CUDA内存不足。尝试分配24.00 MiB(GPU 0;总容量11.17 GiB;已分配10.76 GiB; 4.81 MiB可用; 119.92 MiB缓存)
更新参数的代码:

def _update_fisher_params(self, current_ds, batch_size, num_batch):
    dl = DataLoader(current_ds, batch_size, shuffle=True)
    log_liklihoods = []
    for i, (input, target) in enumerate(dl):
        if i > num_batch:
            break
        output = F.log_softmax(self.model(input.cuda().float()), dim=1)
        log_liklihoods.append(output[:, target])
    log_likelihood = torch.cat(log_liklihoods).mean()
    grad_log_liklihood = autograd.grad(log_likelihood, self.model.parameters())
    _buff_param_names = [param[0].replace('.', '__') for param in self.model.named_parameters()]
    for _buff_param_name, param in zip(_buff_param_names, grad_log_liklihood):
        self.model.register_buffer(_buff_param_name+'_estimated_fisher', param.data.clone() ** 2)

字符串
调试后:log_liklihoods.append(output[:, target])行在157次迭代后抛出错误
我有所需的内存,但它不分配,我不明白为什么更新梯度会导致内存问题,因为梯度应该在每次迭代时自动取消引用并释放。
我尝试了以下解决方案,但没有运气。

  • 降低批量大小
  • 使用torch.cuda.empty_cache()释放缓存
  • 减少筛选器的数量以减少内存占用
    机器规格:

x1c 0d1x的数据

1tuwyuhd

1tuwyuhd1#

最后,我解决了内存问题!我意识到,在每次迭代中,我将输入数据放入一个新的Tensor中,pytorch生成一个新的计算图。这导致使用的RAM永远增长。然后我使用.detach()函数,RAM总是保持在一个低水平。

self.model(input.cuda().float()).detach().requires_grad_(True)

字符串

相关问题