我在探索 kafka-connect
要加载csv文件,请使用 spool-dir
如本文所述。我试着只加载3个记录如下。
id,first_name,last_name,email,gender,ip_address,last_login,account_balance,country,favorite_color
1,first1,last1,f1.l1@mycompany.com,Female,01.0.01.01,2020-02-11T12:57:43Z,28.43,AB,#345678
2,first2,last2,f2.l2@mycompany.com,Female,02.0.02.02,2020-02-12T15:54:28Z,77.91,CD,#456789
它第一次像预期的那样工作。但是当我再次尝试运行它时,我看不到该主题的记录 kafka-console-consumer
). 我可以在日志中看到以下内容。
Found previous offset. Skipping 3 line(s). (com.github.jcustenborder.kafka.connect.spooldir.SpoolDirCsvSourceTask:74)
Finished processing 0 record(s) in 0 second(s). (com.github.jcustenborder.kafka.connect.spooldir.AbstractSourceTask:201)
我想问以下问题。
是因为主题试图在上一个偏移处再次使用记录吗?
是因为文件被移到 finished.path
?
有时,我们的批处理过程需要多次运行它。因此,所有的数据都被删除并再次加载。在这种情况下,如何处理上述错误?
暂无答案!
目前还没有任何答案,快来回答吧!