我们有一个kafka主题,它读取事务生产者的消息。我们要将kafka connect消费者设置为只读提交的消息。
由于我是新来Kafka工作,我需要一些Maven的帮助来建立这个。根据我的初步研究,我了解到我需要在我们的kafka属性中设置isolation.level=read\u committed。
现在我有以下问题
这是我指的正确的财产吗?
设置此设置后如何测试我的kafka连接器是否仅读取已提交的消息?
通过命令行我可以看到什么是(lso)最后一个稳定的offsetid吗?
我们在/confluent/bin文件夹中放置了kafka shell脚本。我的理解是我需要通过调用这些shell脚本来执行命令。
如果需要更多信息,请告诉我。
任何帮助都将不胜感激。谢谢!!!
1条答案
按热度按时间5hcedyr01#
Is this the correct property that I am referring?
-是的How can I test after setting this up my Kafka connector is reading only committed messages?
-您只需用java编写一个kafka生产者,它在两个不同的事务中发布两条消息(t1中的m1和t2中的m2)。中止事务t1并提交事务t2。在read-committed连接器中,应该只看到m2而不是m1。Through command line can I see what is the (LSO) Last Stable Offsetid?
-如果您所说的稳定是指上次读取提交的偏移量,我认为这是不可能的。您可以获得最后一个偏移量,如下所述:提交次数和kafka主题的每个分区中的偏移量