我知道可以使用kafka connect将更新从数据库推送到kafka流。我的问题是，我是否可以创建一个消费者，将同一流中的更改写回到表中，而不创建无限循环？我假设如果我创建一个将更新写入数据库表的使用者，它将触发connect以将该更新推送到流中，等等。是否有办法将数据库表镜像到流中？
daupos2t1#
您可以使用kafka connect的jdbc sink连接器将kafka主题流式传输到数据库。您需要在业务逻辑中编写代码，以避免无限复制循环进入连接器或使用者。例如：jdbc源连接器使用 WHERE 子句只提取设置了标志以指示它们是原始记录的记录源连接器中的自定义单个消息转换，用于删除设置了标志以指示它们不是原始记录的记录流应用程序（例如ksql/kafka streams）处理所有数据库更改的入站流，以仅过滤那些设置了标志以指示它们是原始记录的更改效率低下，因为那时你仍然在从数据库流式传输所有内容
WHERE
fxnxkyjh2#
对。可以配置同步/复制。
2条答案
按热度按时间daupos2t1#
您可以使用kafka connect的jdbc sink连接器将kafka主题流式传输到数据库。
您需要在业务逻辑中编写代码，以避免无限复制循环进入连接器或使用者。例如：
jdbc源连接器使用
WHERE子句只提取设置了标志以指示它们是原始记录的记录源连接器中的自定义单个消息转换，用于删除设置了标志以指示它们不是原始记录的记录
流应用程序（例如ksql/kafka streams）处理所有数据库更改的入站流，以仅过滤那些设置了标志以指示它们是原始记录的更改
效率低下，因为那时你仍然在从数据库流式传输所有内容
fxnxkyjh2#
对。可以配置同步/复制。