如何将1000万条信息植入Kafka？

zhte4eai 于 2021-06-06 发布在 Kafka

关注(0)|答案(3)|浏览(404)

根据我对实时分析的要求，我必须在kafka中插入1000万条记录，除此之外，我还必须编写自定义消费逻辑。但是要满足这一要求，我如何在3-5分钟内将1000万条记录植入kafka？
最好我们要根据项目要求使用Spring Boot。请建议

3条答案

几个选项：
kafka连接datagen，在本文中详细介绍。
像这样的命令行生成器 kafkacat :

seq 1 10000000 | kafkacat -b localhost:9092 -t testtopic -P

要获得更真实的测试数据，请将其与mockaroo结合使用

您可以创建一个简单的生产者和 produce 在for循环中。我做到了，它就像一个魔咒。别忘了不要用这个 .flush() 如果你不想产生1味精/秒。。。

你可以试试streamsets工具，它有一个数据生成器功能。它快速生成数据。此外，这将有助于连接器和消费者/生产者，事实上，你可以做一些处理和过滤也在这里，所以理想情况下，几乎没有编码，你做了。