在spark结构化流媒体中找出两个Dataframe之间的差异

x4shl7ld  于 2021-05-16  发布在  Spark
关注(0)|答案(0)|浏览(285)

我正在创建一个spark结构化流式处理作业,在这里我需要找到两个Dataframe之间的差异。
Dataframe1:

[1, item1, value1]
[2, item2, value2]
[3, item3, value3]
[4, item4, value4]
[5, item5, value5]

Dataframe2:

[4, item4, value4]
[5, item5, value5]

两个d1-d2之间存在差异的新Dataframe:

[1, item1, value1]
[2, item2, value2]
[3, item3, value3]

我尝试使用except()和left anti join(),但spark结构化流媒体不支持这两种方法。
我们有没有办法在结构化流媒体中实现这一点?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题