整合informatica与kafka

93ze6v8z  于 2021-06-08  发布在  Kafka
关注(0)|答案(1)|浏览(498)

我计划在informatica bdm中使用kafka数据对象。我想通过informatica bdm每5分钟读取一次Kafka的数据。我很少有疑问Kafka如何识别它必须加载的当前偏移量。我们是否可以设置informatica需要从中加载kafka数据对象中的增量或更改数据的主题偏移量???我找到了下面的答案,你能帮我纠正一下它的确切过程吗:1)zookeeper是否存储当前偏移量,直到加载数据为止。2) 要在上次提交的偏移量之后读取消息,需要将使用者配置文件中的auto.offset.reset参数设置为最大。
请告诉我如何从Kafka那里获取数据。
当做,
斯利纳特

vptzau2j

vptzau2j1#

回答你的问题,
旧的consumerapi将偏移量存储在zookeeper中。但是,新的consumerapi将偏移量存储在kafka的内部主题中。
默认情况下,在使用者组中,kafka使用者开始使用来自最后提交的偏移量的消息。配置 auto.offset.reset 当消费者组不存在已提交的补偿时起作用。例如,当使用者作为新使用者组的一部分开始消费时,此配置将确定它应该从日志中的何处开始(日志的开始或结束)。

相关问题