我正在创建一个spark结构化流式处理作业,在这里我需要找到两个Dataframe之间的差异。
Dataframe1:
[1, item1, value1]
[2, item2, value2]
[3, item3, value3]
[4, item4, value4]
[5, item5, value5]
Dataframe2:
[4, item4, value4]
[5, item5, value5]
两个d1-d2之间存在差异的新Dataframe:
[1, item1, value1]
[2, item2, value2]
[3, item3, value3]
我尝试使用except()和left anti join(),但spark结构化流媒体不支持这两种方法。
我们有没有办法在结构化流媒体中实现这一点?
暂无答案!
目前还没有任何答案,快来回答吧!