我一直在使用Kafka连接的汇合平台使用以下指南Kafka连接快速启动但它不再更新sink文件,源文件中的任何更改都不会写入kafka主题。我已经删除了所有tmp文件,但没有更改。提前谢谢
x6492ojm1#
我以前也遇到过同样的问题。但是纠正属性文件中输入和输出文件的路径对我来说很有用。它从输入文件流出来( test.txt )输出文件( test.sink.txt ).
test.txt
test.sink.txt
name=local-file-source connector.class=FileStreamSource tasks.max=1 file=/home/mypath/kafka/test.txt topic=connect-test name=local-file-sink connector.class=FileStreamSink tasks.max=1 file=/home/mypath/kafka/test.sink.txt topics=connect-test
dgjrabp22#
filestreamsource/sink在正常工作并且您已经重新启动了zookeeper、kafka服务器和连接器之后仍然无法工作,但问题是kafka目录中的connect.offsets文件。你应该删除它并创建一个新的空的。
wwtsj6pe3#
为了操作,我已经有了这个像5分钟前,但当我重新启动连接器它的罚款,都测试.sink.txt和消费者得到了新的线路增加。简单地说,只要重新启动连接器。
dfty9e194#
启动一个新的文件源连接器,该连接器具有存储偏移的新位置。这个连接器是作为一个演示,除了一个只获取附加更新的简单文件外,实际上什么都不处理。注意,除了一个简单的演示之外,您不应该对这个连接器做任何事情。如果您需要生产用的东西,请查看连接器集线器。
4条答案
按热度按时间x6492ojm1#
我以前也遇到过同样的问题。但是纠正属性文件中输入和输出文件的路径对我来说很有用。它从输入文件流出来(
test.txt
)输出文件(test.sink.txt
).dgjrabp22#
filestreamsource/sink在正常工作并且您已经重新启动了zookeeper、kafka服务器和连接器之后仍然无法工作,但问题是kafka目录中的connect.offsets文件。你应该删除它并创建一个新的空的。
wwtsj6pe3#
为了操作,我已经有了这个像5分钟前,但当我重新启动连接器它的罚款,都测试.sink.txt和消费者得到了新的线路增加。简单地说,只要重新启动连接器。
dfty9e194#
启动一个新的文件源连接器,该连接器具有存储偏移的新位置。这个连接器是作为一个演示,除了一个只获取附加更新的简单文件外,实际上什么都不处理。注意,除了一个简单的演示之外,您不应该对这个连接器做任何事情。如果您需要生产用的东西,请查看连接器集线器。