如何自动选择文件作为Kafka制作人的输入?

jhdbpxl9  于 2021-06-07  发布在  Kafka
关注(0)|答案(1)|浏览(220)

我刚开始学Kafka。我做了很多谷歌搜索,但仍然没有线索:我怎么能自动拿起一个文件夹中的文件作为生产者的输入,从而拿起消费者?谢谢您。作为一个起点,我尝试了以下代码,但它不起作用(简单地退出,没有错误):

./kafka-console-producer.sh --broker-list sandbox.hortonworks.com:6667 --topic kafka-topic1 < test.csv


以下是更新:
我尝试了更完全相同的方式,我创建生产者和消费者,我看到一次,消费者收到的csv内容逐行,但,不完整。我马上又试了一次,我再也看不到结果了。然后我做了控制台生产者和消费者收到的消息,就在它之后,我做了文件输入,消费者收到,但在错误的顺序,请参阅截图。
测试.csv:

制作人:

消费者:

终止控制台生产者和启动文件生产者

在消费者中没有发生任何事情:

终止使用者并在重新启动生产者(文件)后重新启动它:使用者收到文件:

请注意顺序与原来的顺序不同
再次运行producer,消费者再次接收:

顺序好像又“错”了?
总之,这里很不稳定,有什么线索吗?
顺便说一句:我测试了我的互联网连接速度,下载和上传速度都在10mb/s左右

z0qdvdin

z0qdvdin1#

kafka控制台生产者不是为这个用例设计的。查看kafka connect--它允许设置文件的连续导入:
http://docs.confluent.io/current/connect/connect-filestream/filestream_connector.html

相关问题