我想创建一个python脚本,将文件从虚拟机发送到kafka代理。简单来说:
我在这个ip地址有日志文件:vm110.10.10.1
我想创建一个kafka生产者(使用python)来从vm1发送文件
kafka安装在另一个虚拟机上:vm2 10.10.10.2
局限性
我无法在vm1上安装任何工具
我只能使用user/pwd访问vm1
我想我需要创建一个连接器?我们是否可以重用connect-file-sink.properties之类的东西,并指定文件存储在外部计算机中的文件夹+ip:vm1
还有其他工具可以做到这一点吗?
1条答案
按热度按时间ep6jt1vc1#
有很多现有的工具可以做到这一点,例如filebeat,它支持输出到kafka、fluentd等。
这些都是简单的设置与简单的配置文件。最棘手的一点可能是你的网络,只要确保你已经正确配置Kafka的听众。