Paddle fluid.io.save_persistables 语句导致报错:terminate called without an active exception

ycl3bljg  于 2021-11-30  发布在  Java
关注(0)|答案(2)|浏览(420)
  • 版本、环境信息

PaddlePaddle版本:1.5.0
python: 3.5.3
GPU: P4

  • 训练环境

单机单卡

  • 问题描述:

修改ERNIE代码运行时,保存模型时程序异常退出,定位到错误来源语句为:
fluid.io.save_persistables()
错误信息:terminate called without an active exception
无其他任何log信息。

查看报错的checkpoint文件结果时,发现相应路径下的checkpoint文件夹已存在,但不确定是否全部参数已完整报错。

aydmsdu9

aydmsdu91#

尝试换为 fluid.io.save_params(exe, save_path, train_program) 还是出现以上错误

xesrikrc

xesrikrc2#

尝试更换batch_size大小:
a. 部分条件下 save_params() 不报错,save_persistables()报错;
b. 部分条件下 save_params() 和save_persistables()都报错;
但即使有错情况下模型也存了checkpoint文件,ckp中文件数量 与无报错时一致

相关问题