kafka生产者是否可以监听某些端口(udp/tcp),然后将数据发送到指定的主题。我是否需要开发一个单独的守护进程来监听端口,然后将数据发送到kafka主题已经有一些github项目可用)。只是想确保我们已经找到了一种方法,使它变得更加健壮和易于扩展。基本上,将udp包转发到kafka中问候苏尼尔
7kqas0il1#
我更喜欢使用rsyslogd:/etc/rsyslog.d/kafka.conf
module(load="imudp") module(load="omkafka") template(name="kafka_msg" type="string" string="%msg%") ruleset(name="kafka") { :msg, !contains, "timestamp" ~ action ( type="omkafka" topic="nginx-accesslog" broker=["192.168.1.1:9092", "192.168.1.2:9092", "192.168.1.3:9092"] template="kafka_msg" confParam=["compression.codec=gzip"] partitions.auto="on" ) } input(type="imudp" port="10514" Ruleset="kafka")
nue99wik2#
正如在评论中提到的,是的,这是可能的-通过谷歌搜索可以找到几个解决方案-这里有一个项目,让你做你想做的-开箱即用:https://github.com/agaoglu/udp-kafka-bridge
2条答案
按热度按时间7kqas0il1#
我更喜欢使用rsyslogd:/etc/rsyslog.d/kafka.conf
nue99wik2#
正如在评论中提到的,是的,这是可能的-通过谷歌搜索可以找到几个解决方案-这里有一个项目,让你做你想做的-开箱即用:
https://github.com/agaoglu/udp-kafka-bridge