在我的系统中,有许多传感器产生数据。我希望他们把生成的数据直接发送给Kafka,而不干扰网络编程。
据我所知,kafka(合流版本)在这种情况下支持http,但是我的传感器不使用http协议发送数据,它们有自己的协议。
现在我的问题是:
Kafka收到(理解)哪种网络布局数据抽象?我的意思是它可以接收二进制数据(物理网络布局数据)或更高的数据抽象布局,如数据链路布局,网络布局。。。
这是直接向Kafka发送数据的方式吗?
如果没有,有没有可能定制Kafka源代码来适应这种情况?
一般来说,是否可以使用udp协议从传感器向kafka发送数据?
2条答案
按热度按时间lfapxunr1#
你可以实现一个
KafkaProducer
它使用您的格式,或者将您的格式转换为合适的文本格式,并将其导入Kafka的泛型kafka-console-producer.sh
.watbbzwu2#
您可以在节点中使用到kafka的桥将这些消息转换为kafka可以理解的内容(类似于信封)。
您可以在github中找到此类软件的实现
https://github.com/agaoglu/udp-kafka-bridge
这个用于向kafka主题发送syslog消息。