kafka spark流直接保存到redis

pvcm50d1  于 2021-06-06  发布在  Kafka
关注(0)|答案(0)|浏览(241)

我正在使用scala获取kafkastream,并希望将这些数据直接插入redis。这样做的最佳策略是什么?

val kafkaStream = KafkaUtils.createStream(ssc, "192.168.0.40:2181", "group", topics, StorageLevel.MEMORY_AND_DISK)

早些时候我想用https://github.com/debasishg/scala-redis 但是spark不起作用,所以我不得不收集rdd,然后将记录保存到redis中,这在我的项目中造成了很大的开销。因此,我正在寻找一种解决方案,可以直接将这串消息推送到redis中,并希望维护zscore。
谢谢,

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题