Paddle dataloader 加载问题

9lowa7mx  于 2022-11-13  发布在  其他
关注(0)|答案(2)|浏览(359)

请提出你的问题 Please ask your question

dataloader 加载数据,1024个数据一个batch,120000000数据,按理说应该11万个batch 就用完所有数据了,该下一epoch了。可是我发现一直加载到第30多万都还在继续加载。

  1. 这种dataloader 加载方式,是会不停重复数据吗?
  2. 如果是,那我设置每50000次break,开始下一epoch,每一个epoch 加载的数据相同吗?能充分利用上所有数据吗?
xoefb8l8

xoefb8l81#

1、dataloader是会不断循环读取data,不会终止。
2、可以充分利用,会继续读取后续的数据。

1u4esq0p

1u4esq0p2#

您好,我们已经收到了您的问题,会安排技术人员尽快解答您的问题,请耐心等待。请您再次检查是否提供了清晰的问题描述、复现代码、环境&版本、报错信息等。同时,您也可以通过查看 官网API文档常见问题历史IssueAI社区 来寻求解答。祝您生活愉快~

Hi! We've received your issue and please be patient to get responded. We will arrange technicians to answer your questions as soon as possible. Please make sure that you have posted enough message to demo your request. You may also check out the APIFAQGithub Issue and AI community to get the answer.Have a nice day!

相关问题