我正在尝试从一些大文件中编写一些符合hadoop特定条件的记录。在级联的每个函数中都执行操作。单元测试输出是正确的，但在hadoop中尝试这样做时，有些行被多次写入。原因可能是什么。有人经历过这个问题吗。
在每一次迭代中，我都将存储到上一次迭代的数据备份到temp文件中，并将备份的数据和新数据写入所需的文件中。此过程一直持续到中的最后一个记录完成。