Paddle DatasetLoader的报错信息能否更加完善一些

j9per5c4  于 2021-11-30  发布在  Java
关注(0)|答案(2)|浏览(218)

欢迎您对PaddlePaddle提出建议,非常感谢您对PaddlePaddle的贡献!
在留下您的建议时,辛苦您同步提供如下信息:

  • 版本、环境信息

1)PaddlePaddle版本:1.8.3
2)CPU/GPU:CUDA10 cuDNN7
3)系统环境:CentOS 7
注:您可以通过执行summary_env.py获取以上信息。

  • 复现信息:如为报错,请给出复现环境、复现步骤
  • 建议描述:当使用 exe.run_from_dataset 时正常训练;当使用 DatasetLoader 训练时,遇到类似 "当前数据行解析失败" 的报错信息,而日志中输出的数据行确实不完整。找到原因应该是训练时显存不够,导致 pipe_command 的进程意外退出,因而没有输出完整的数据行。建议当 pipe_command 进程意外退出时给出类似 "pipe_command 进程意外退出" 的报错信息。

Thank you for contributing to PaddlePaddle.
Before submitting the issue, you could search issue in the github in case that there was a similar issue submitted or resolved before.
Please make sure that this is a feature request.

System information

-PaddlePaddle version (eg.1.1)or CommitID
-CPU: including CPUMKL/OpenBlas/MKLDNN version
-GPU: including CUDA/CUDNN version
-OS Platform (eg.Mac OS 10.14)
Note: You can get most of the information by running summary_env.py.

To Reproduce

Steps to reproduce the behavior

Describe the feature and the current behavior/state.
Any Other info.

jbose2ul

jbose2ul1#

有详细的报错可以提供下吗?我们看下具体是哪里然后修复下

zdwk9cvp

zdwk9cvp2#

是这样的,报错信息大致如下:

please check this line: 5 1 1 1 1 1 5 1 1 1 1 1 5 1

造成这种情况(数据行不完整)的原因可能有两种,一种是pipe_command程序处理逻辑有问题,另一种是pipe_command程序由于其他原因意外退出(pipe_command程序逻辑正确)。报错信息是不是对这两种情况做区分会好一些,或者在报错信息中加入后者原因

相关问题