我有一个批量Spark应用程序(非流Spark应用程序)。我想用spark的 flatMapGroupsWithState()
api来使用 State
. batch spark是否支持此api?感兴趣:
使用 flatMapGroupsWithState()
在非spark流媒体应用程序中
不使用检查点位置运行应用程序
将数据加载到 State
在制作 flatMapGroupsWithState()
打电话。
写入已更新 State
作为Parquet到s3在应用程序的结尾。
是否可以将数据加载到 State
在打这个电话之前?是一种习俗 StateStoreProvider
需要实现,是否可以用提供的状态数据初始化?默认状态存储提供程序是 HDFSBackedStateStoreProvider
.
暂无答案!
目前还没有任何答案,快来回答吧!