找到上一个偏移量跳过(3)行假脱机目录VSourceTask

iqih9akk  于 2021-06-04  发布在  Kafka
关注(0)|答案(0)|浏览(176)

我在探索 kafka-connect 要加载csv文件,请使用 spool-dir 如本文所述。我试着只加载3个记录如下。

id,first_name,last_name,email,gender,ip_address,last_login,account_balance,country,favorite_color
1,first1,last1,f1.l1@mycompany.com,Female,01.0.01.01,2020-02-11T12:57:43Z,28.43,AB,#345678
2,first2,last2,f2.l2@mycompany.com,Female,02.0.02.02,2020-02-12T15:54:28Z,77.91,CD,#456789

它第一次像预期的那样工作。但是当我再次尝试运行它时,我看不到该主题的记录 kafka-console-consumer ). 我可以在日志中看到以下内容。

Found previous offset. Skipping 3 line(s). (com.github.jcustenborder.kafka.connect.spooldir.SpoolDirCsvSourceTask:74)
Finished processing 0 record(s) in 0 second(s). (com.github.jcustenborder.kafka.connect.spooldir.AbstractSourceTask:201)

我想问以下问题。
是因为主题试图在上一个偏移处再次使用记录吗?
是因为文件被移到 finished.path ?
有时,我们的批处理过程需要多次运行它。因此,所有的数据都被删除并再次加载。在这种情况下,如何处理上述错误?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题