我必须把我的疾控中心的变化，从极光mysql数据库到mskKafka的主题。我认为在aws中没有像dms这样的内置机制，它会将所有的cdc从aurora下沉到msk主题，在他们的文档中他们没有提到任何支持。
所以我只能使用开源软件了。利用这个，我有几个问题，请帮助我这个。
我做了一些搜索，到处都能看到kafka连接jdbc，所以首先这是一个开源的免费许可证？
我也见过debezium one，它将mysql连接到msk。
aurora记录将是文本，我需要将记录作为json放入msk，所以我必须使用模式注册表？schema registry是免费许可证还是开源的，还是来自msk kafka？
如果我必须从confluent或debezium使用kafka-connect，我需要ec2示例？只有Kafka或与Kafka汇合和debezium以及。
请建议一些免费许可和开源的东西。
1条答案
按热度按时间pw9qyyiw1#
1） 如果您想在zookeeper、apachekafka代理和基本kafka connect（如jdbc连接器插件）之外使用合流平台组件，请阅读https://www.confluent.io/confluent-community-license-faq/
2） debezium应该很管用。它在Apache2.0许可下；您可以将apachekafka与它一起使用，而不是合流平台的其余部分
3a）schema registry只能存储avro，不能存储json。所以你不需要它。3b）有关模式注册表许可，请参见1
4） 您将需要ec2或通过ecs/eks使用docker kafka connect/debezium容器。
还有其他的选项可以将cdc转换成kafka，我知道其中一些是开源的，甚至是商业支持的，但是在这里列出它们太广泛了。
关于内置的aws服务，您可以在aurora表上触发lambda函数来执行任何您想要的操作
https://aws.amazon.com/blogs/database/capturing-data-changes-in-amazon-aurora-using-aws-lambda/
lambda有可能/最终会有msk集成