合流kafka connect mqtt源和汇连接器的开源替代方案

vzgqcmou  于 2021-06-05  发布在  Kafka
关注(0)|答案(2)|浏览(788)

**结束。**此问题不符合堆栈溢出准则。它目前不接受答案。
**想改进这个问题吗?**更新问题,使其成为堆栈溢出的主题。

8个月前关门了。
改进这个问题
我想通过mqtt代理连接到apachekafka(非企业版,不使用合流kafka托管服务)。
我正在使用confluent的kafka connect mqtt源和汇,但我意识到它需要30天的试用期,试用期过后需要许可证。
在apachekafka和mqtt代理之间有没有其他开源/免费选项可以用作双向桥梁。

w1e3prcc

w1e3prcc1#

我没有任何详细的代码示例,只有我的2美分:
你必须建立自己的桥梁,即mqtt<->kafka(pub/sub<->producer/consumer)。
在mqtt方面,eclipsepaho客户机看起来相当不错。看看这个方法:https://www.baeldung.com/java-mqtt-client.
在kafka上,一个生产者和消费者的相当简单的实现应该相当容易。如果您想考虑mqttqos(即最多一次(0),至少一次(1),正好一次(2)),事情就会变得复杂。至少有一次,您可以通过控制offset commit并关注mqtt<->kafka消息的处理状态来进行管理,就有一次您可以查看kafka事务。

kiz8lqtg

kiz8lqtg2#

您可以使用透镜的mqtt源连接器:
从mqtt读取事件并将其推送到kafka的连接器。连接器订阅指定的主题,并将记录流式传输到Kafka。
Lens还提供mqtt接收器连接器,用于将记录从kafka流式传输到目标系统。
两个接头都需要以下部件:
apache kafka 0.11.x以上版本
Kafka连接2.x或更高版本
mqtt服务器
java 1.8版

相关问题