作为需求的一部分，我们将使用kafka connect将数据推送到我们的数据库。到目前为止，我读到的是消息和db行之间将有一个1x1的Map，即对于kafka上的单个消息，数据库中将有一个对应的条目。我想知道是否有可能将一个嵌套的json分解成多行插入db？我能想到的两种可能性are:- 1)为jdbc接收器编写自定义连接器2）使用使用者组而不是kafka connect
rqdpfwrv1#
使用消费者组而不是kafka connectconnect是一个消费群体。强烈建议不要编写自己的逻辑来处理连接失败、偏移管理、失效等，让connect为您完成这些工作。如果这些“好处”对您不起作用，即使这样，我也认为最好是分叉连接器代码（您的选项2），而不是编写一个普通的消费者连接单个消息转换大致上就是您要寻找的。否则，您将编写一个consumer/producer/kstreams应用程序来读写一个“扁平化”主题，然后将该输出主题连接到数据库中。注意：jdbc不是您唯一的选择。mongodb或couchbase可以处理嵌套的json
1条答案
按热度按时间rqdpfwrv1#
使用消费者组而不是kafka connect
connect是一个消费群体。强烈建议不要编写自己的逻辑来处理连接失败、偏移管理、失效等，让connect为您完成这些工作。如果这些“好处”对您不起作用，即使这样，我也认为最好是分叉连接器代码（您的选项2），而不是编写一个普通的消费者
连接单个消息转换大致上就是您要寻找的。否则，您将编写一个consumer/producer/kstreams应用程序来读写一个“扁平化”主题，然后将该输出主题连接到数据库中。
注意：jdbc不是您唯一的选择。mongodb或couchbase可以处理嵌套的json