有没有任何方法可以使用jdbc通过用户定义的查询从oracle数据库中获取增量数据？我们可以使用spark、kafka或普通jdbc。它唯一应该能承受重载的东西。
c2e8gylq1#
您尚未指定目的地。如果它是一个Kafka主题，那么使用apachekafka也可以使用kafkaconnect进行提取。在这种情况下，您可以使用kafka connect jdbc连接器来实现这一点。有关在自定义查询中使用增量模式的详细信息，请参见此处。编辑如果您的最终目标是bigquery，那么您也可以使用kafka connect和相应的bigquery连接器。你可以在这里看到一个例子。
1条答案
按热度按时间c2e8gylq1#
您尚未指定目的地。如果它是一个Kafka主题，那么使用apachekafka也可以使用kafkaconnect进行提取。
在这种情况下，您可以使用kafka connect jdbc连接器来实现这一点。有关在自定义查询中使用增量模式的详细信息，请参见此处。
编辑
如果您的最终目标是bigquery，那么您也可以使用kafka connect和相应的bigquery连接器。你可以在这里看到一个例子。