kafka connect不适用于文件流

uelo1irk  于 2021-06-07  发布在  Kafka
关注(0)|答案(4)|浏览(402)

我一直在使用Kafka连接的汇合平台使用以下指南
Kafka连接快速启动
但它不再更新sink文件,源文件中的任何更改都不会写入kafka主题。
我已经删除了所有tmp文件,但没有更改。
提前谢谢

x6492ojm

x6492ojm1#

我以前也遇到过同样的问题。但是纠正属性文件中输入和输出文件的路径对我来说很有用。它从输入文件流出来( test.txt )输出文件( test.sink.txt ).

name=local-file-source
connector.class=FileStreamSource
tasks.max=1
file=/home/mypath/kafka/test.txt
topic=connect-test

name=local-file-sink
connector.class=FileStreamSink
tasks.max=1
file=/home/mypath/kafka/test.sink.txt
topics=connect-test
dgjrabp2

dgjrabp22#

filestreamsource/sink在正常工作并且您已经重新启动了zookeeper、kafka服务器和连接器之后仍然无法工作,但问题是kafka目录中的connect.offsets文件。你应该删除它并创建一个新的空的。

wwtsj6pe

wwtsj6pe3#

为了操作,我已经有了这个像5分钟前,但当我重新启动连接器它的罚款,都测试.sink.txt和消费者得到了新的线路增加。简单地说,只要重新启动连接器。

dfty9e19

dfty9e194#

启动一个新的文件源连接器,该连接器具有存储偏移的新位置。这个连接器是作为一个演示,除了一个只获取附加更新的简单文件外,实际上什么都不处理。注意,除了一个简单的演示之外,您不应该对这个连接器做任何事情。如果您需要生产用的东西,请查看连接器集线器。

相关问题