我知道如何编写kafka使用者并将每个记录插入/更新到oracle数据库中，但我想利用kafka connect api和jdbc sink connector实现这一目的。除了属性文件，在我的搜索中，我找不到完整的可执行示例，其中包含用java配置和编写相关代码的详细步骤，以便使用带有json消息的kafka主题，并使用带有jdbc接收器连接器的kafka connect api在oracle数据库中插入/更新（合并）表。有人能举例说明配置和依赖关系吗？这种方法有什么缺点吗？当表数据增加到数百万时，我们是否预测到任何潜在的问题？
提前谢谢。
1条答案
按热度按时间ogq8wdun1#
对于您的特定用例不会有一个示例，因为jdbc连接器是通用的。
下面是一个oracle数据库的配置示例
你只需要
某种形式的主题
key.converter以及value.converter设置为反序列化该主题jdbc字符串和数据库模式（表、投影字段等）
任何其他特定于jdbc接收器的选项
所有这些都放在java属性/json文件中，而不是java源代码中
如果您在创建此配置时遇到特定问题，请发表评论。
当表数据增加到数百万时，我们是否预测到任何潜在的问题？
嗯，这些问题与数据库服务器有关，而不是与kafka connect有关。例如，在接受连续写入时，磁盘已满或负载增加。
这种方法有什么缺点吗？
如果确实需要，您必须单独处理重复数据消除或记录过期（例如gdpr）。