我有这样一个案例:
streaming_df = spark.readStream(....)
这是一个 blackUserList
其中包含一些ID:
blackUserIdList = DB.autoCommit(...).list.apply
我将使用上面的列表作为过滤条件:
streaming_df.filter(blackUserId.contains(id))
过了一会儿 dataframe
操作如使用 foreach
,的 blackUser
数据库中的表在此批中可能会更新,而在下一批中,它将使用更新的 blackUserIdList
作为过滤条件 streaming_df
. 那么我如何更新 blackUserList
每批?
暂无答案!
目前还没有任何答案,快来回答吧!