我正在使用confluent platform 3.3从oracle数据库中提取数据。将数据推送到kafka服务器后，应删除数据库中检索到的数据。有什么办法吗？请建议。
8zzbczxx1#
Kafka没有默认的方法。您是如何使用kafka connect或您编写的自定义代码从数据库中读取数据的？如果是后者，我建议在代码中实现delete，在kafka确认send后收集id，并定期批量删除。或者，您可以编写一个小作业，以不同于实际目标系统的用户组读取Kafka主题，并根据从主题中提取的记录进行删除。如果您每隔几分钟、几小时运行一次此作业，。。。您还可以跟上发送的数据。
1条答案
按热度按时间8zzbczxx1#
Kafka没有默认的方法。
您是如何使用kafka connect或您编写的自定义代码从数据库中读取数据的？
如果是后者，我建议在代码中实现delete，在kafka确认send后收集id，并定期批量删除。
或者，您可以编写一个小作业，以不同于实际目标系统的用户组读取Kafka主题，并根据从主题中提取的记录进行删除。如果您每隔几分钟、几小时运行一次此作业，。。。您还可以跟上发送的数据。