如何在每次向目录中添加新文件时触发kafka生产者?

9bfwbjaz  于 2021-06-07  发布在  Kafka
关注(0)|答案(1)|浏览(303)

我有一个kafka流生产者(在scala中),它从目录中的所有文件中提取数据,并将其内容发布到主题中。然后,消费者对该内容进行处理。
现在我通过shell手动执行producer和consumer(都在scala中),但是如何在每次将文件添加到producer从中检索文件的目录时触发kafka producer和consumer自动执行呢?任何帮助都将不胜感激!

zz2j4svz

zz2j4svz1#

您最好使用kafkaconnectapi,它是apachekafka的一部分。kafka connect spooldir是一个连接器,它将监视文件夹并将任何新文件接收到kafka主题中,如果需要,您可以从中对其进行进一步处理。

相关问题