Paddle 【论文复现】default_collate的paddle实现

p4tfgftt  于 2022-10-25  发布在  其他
关注(0)|答案(6)|浏览(254)

关于pytorch的default_collate功能在paddle里有没有对应的实现办法。如果有的话,希望老师对于实现过程解释的详细一点,谢谢老师。

jaql4c8m

jaql4c8m1#

您好,我们已经收到了您的问题,会安排技术人员尽快解答您的问题,请耐心等待。请您再次检查是否提供了清晰的问题描述、复现代码、环境&版本、报错信息等。同时,您也可以通过查看 官网API文档常见问题历史IssueAI社区 来寻求解答。祝您生活愉快~

Hi! We've received your issue and please be patient to get responded. We will arrange technicians to answer your questions as soon as possible. Please make sure that you have posted enough message to demo your request. You may also check out the APIFAQGithub Issue and AI community to get the answer.Have a nice day!

ruyhziif

ruyhziif2#

您好,这里最好贴一下pytorch的使用方式呢~

bvuwiixz

bvuwiixz3#

你可能想问的是这种用法吧,default_collate是框架里实现的默认处理data的方式,通常不会暴露出来,paddle.fluid 的方式也不推荐使用,建议你使用 paddle.io.DataLoader 的方式处理数据集,设定参数collate_fn的使用方式,torch 也是这样操作的,当然,你也可以自定义collate方式~
文档参考: https://www.paddlepaddle.org.cn/documentation/docs/zh/api/paddle/io/DataLoader_cn.html

1wnzp6jl

1wnzp6jl4#


你可能想问的是这种用法吧,default_collate是框架里实现的默认处理data的方式,通常不会暴露出来,paddle.fluid 的方式也不推荐使用,建议你使用 paddle.io.DataLoader 的方式处理数据集,设定参数collate_fn的使用方式,torch 也是这样操作的,当然,你也可以自定义collate方式~ 文档参考: https://www.paddlepaddle.org.cn/documentation/docs/zh/api/paddle/io/DataLoader_cn.html

老师您好,我就是想实现这样的操作,但我这边处理的数据更复杂一点,里面不光是元组和数组,还有一些字典也需要做这样的操作。如果使用paddle.fluid方式 ,对于老师举的这样的转换操作的例子,是可以实现处理包括元组、列表、字典等各种数据类型吗?

现在不推荐使用之前paddle.fluid 的方式,使用paddle.io.DataLoader 的方式处理数据集应该具体如何去操作,是全部都在collate_fn里操作吗?

torch框架里大部分这样的操作还是用了default_collate去处理,那么对于paddle有没有比较正式统一的类似处理方法,希望得到老师的解答,这一直困扰着我。

zmeyuzjn

zmeyuzjn5#

您好,这个就是目前paddle正式统一的处理方法,paddle目前支持的数据类型有tensor, numpy.ndarray, dict, list, number。你这边的需求可以满足。可以直接把pytorch的使用方式挪过来哈~

kmbjn2e3

kmbjn2e36#

您好,麻烦您再提供一个pytorch的单测例子吧,包括数据、Dataloader部分,保证可以跑通的代码,我这边帮看下paddle的写法。

相关问题