如何在batch spark应用程序中使用flatmapgroupswithstate中的状态?

14ifxucb  于 2021-05-29  发布在  Spark
关注(0)|答案(0)|浏览(291)

我有一个批量Spark应用程序(非流Spark应用程序)。我想用spark的 flatMapGroupsWithState() api来使用 State . batch spark是否支持此api?感兴趣:
使用 flatMapGroupsWithState() 在非spark流媒体应用程序中
不使用检查点位置运行应用程序
将数据加载到 State 在制作 flatMapGroupsWithState() 打电话。
写入已更新 State 作为Parquet到s3在应用程序的结尾。
是否可以将数据加载到 State 在打这个电话之前?是一种习俗 StateStoreProvider 需要实现,是否可以用提供的状态数据初始化?默认状态存储提供程序是 HDFSBackedStateStoreProvider .

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题