我有一个实时流的用例,我们将使用kafka(0.9)进行消息缓冲,使用spark streaming(1.6)进行流处理(hdp2.4)。我们将在http上接收约80-90k/秒的事件。你能为spark流媒体使用的kafka主题提供一个推荐的数据接收架构吗。
我们正在考虑弗拉夫卡建筑。
flume监听http并发送到kafka(flafka)进行实时流媒体传输是一个好的选择吗?
请分享其他可能的方法。
我有一个实时流的用例,我们将使用kafka(0.9)进行消息缓冲,使用spark streaming(1.6)进行流处理(hdp2.4)。我们将在http上接收约80-90k/秒的事件。你能为spark流媒体使用的kafka主题提供一个推荐的数据接收架构吗。
我们正在考虑弗拉夫卡建筑。
flume监听http并发送到kafka(flafka)进行实时流媒体传输是一个好的选择吗?
请分享其他可能的方法。
1条答案
按热度按时间hpxqektj1#
一种方法可以是Kafka连接。寻找一个适合你需要的资源或开发一个新的定制资源。