kafka+从主题日志文件读取

9udxz4iz  于 2021-06-07  发布在  Kafka
关注(0)|答案(1)|浏览(324)

我有一个主题日志文件和相应的.index文件。我想阅读的信息流的方式和处理它。我应该从哪里开始?
我是否应该将这些文件加载到Kafka制作人并从主题中读取?
我是否可以直接编写一个使用者来读取文件中的数据并对其进行处理?
我浏览了Kafka的网站,到处都是,它使用了预先构建的Kafka生产者和消费者的例子。所以,我没有得到足够的指导。
我想以流媒体的方式读java。
文本看起来是加密的,所以我没有发布输入文件。
非常感谢您的帮助。

i7uq4tfw

i7uq4tfw1#

您可以转储日志段并使用deep iteration选项将数据反序列化为更可读的内容。
如果您想“流式传输”,那么使用标准unix管道输出到其他工具
执行聚合操作
然后使用kafka streams实际读取所有分区的主题,而不是单个代理上的单个分区

相关问题