我是Kafka的新手，我在Cloud Confluent Kafka（基础套餐）中创建了一个集群和一个主题，根据Confluent kafka的文档（https：//docs.confluent.io/cloud/current/clusters/broker-config.html#custom-topic-settings-for-all-cluster-types），默认最大消息限制为8 MB。我想在Kafka中存储大文件，即ZIP文件（300 MB以上）。如果我想在Kafka中存储大文件，如何在云中配置相同的文件？
问题（超出范围）：我们可以在Kafka中存储大型ZIP文件吗？
我尝试更新主题配置设置（https://prnt.sc/b8Hy8EZ-kagB）中的值，但似乎没有办法将限制设置为超过8 MB
1条答案
按热度按时间jq6vz3qz1#
通常不鼓励使用Kafka来存储大型文件，因为Kafka针对管理大量小消息进行了优化，而不是管理有限数量的大消息。
建议使用专门的文件存储系统，如Amazon S3或Google Cloud Storage来存储和服务大型文件，而不是Kafka。这些系统旨在有效地处理大型文件，并且可以连接到Kafka，以便在文件上传或更新时触发事件或通知。
更好的方法是使用云存储来存储数据并通过Kafka消息传递元数据。