查找大容量非静态数据集的方法?

ar7v8xwq  于 2021-05-29  发布在  Spark
关注(0)|答案(0)|浏览(204)

我希望构建一个spark结构化的流媒体作业,它可以执行以下操作(查找一个巨大的非静态数据集)
读Kafka(json记录)
对于每个json记录
获取{用户密钥}
通过{user\u key}从巨大的phoenix表(非静态)过滤器读取
进一步的df变换
写入另一个phoenix表
如何根据kafka消息查找大量的非静态数据集?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题