>flume->kafka->spark streaming)

u3r8eeie  于 2021-06-04  发布在  Flume
关注(0)|答案(1)|浏览(522)

我有一个实时流的用例,我们将使用kafka(0.9)进行消息缓冲,使用spark streaming(1.6)进行流处理(hdp2.4)。我们将在http上接收约80-90k/秒的事件。你能为spark流媒体使用的kafka主题提供一个推荐的数据接收架构吗。
我们正在考虑弗拉夫卡建筑。
flume监听http并发送到kafka(flafka)进行实时流媒体传输是一个好的选择吗?
请分享其他可能的方法。

hpxqektj

hpxqektj1#

一种方法可以是Kafka连接。寻找一个适合你需要的资源或开发一个新的定制资源。

相关问题