在spark结构化流媒体中,如何更新变量(如每批的数组)?

cvxl0en2  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(166)

我有这样一个案例:

streaming_df = spark.readStream(....)

这是一个 blackUserList 其中包含一些ID:

blackUserIdList = DB.autoCommit(...).list.apply

我将使用上面的列表作为过滤条件:

streaming_df.filter(blackUserId.contains(id))

过了一会儿 dataframe 操作如使用 foreach ,的 blackUser 数据库中的表在此批中可能会更新,而在下一批中,它将使用更新的 blackUserIdList 作为过滤条件 streaming_df . 那么我如何更新 blackUserList 每批?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题