检测pysparkDataframe中的第一个重复

fivyi3re  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(200)

我有一个 DataFrame 我想知道它是否有重复项(关于所有列)在第一次匹配时停止执行。检测是否有重复项的自然方法是检查de bool值 df.count() == df.DropDuplicates().count() ,但不是最佳的,因为它在删除之前统计所有重复项。有办法吗?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题