关闭。这个问题需要更加突出重点。它目前不接受答案。
**想改进这个问题吗？**通过编辑这篇文章更新这个问题，使它只关注一个问题。

三年前关门了。
改进这个问题
我们正在尝试构建一个bi系统，它将收集大量的数据，这些数据应该由其他组件处理。
我们决定用一个中间层来收集、存储和分发数据是个好主意。
数据由一大组日志消息表示。每个日志消息都有：
产品
动作类型
约会
负荷消息
系统细节：
平均：150万条信息/分钟
峰值：1500万条/分钟
平均消息大小为：700字节（约1.3tb/天）
我们有200种产品
我们有1100种动作类型
数据应每5分钟接收一次
消费者应用程序通常需要1-2-3个产品和1-2-3个动作类型（我们需要快速访问1个产品/1个动作类型）
我们原以为Kafka会做这项工作，但我们遇到了几个问题。
我们尝试为每个操作类型创建一个主题，并为每个产品创建一个分区。通过这样做，我们可以提取1个产品/1个动作类型来进行消费。
最初我们有一个“打开的文件太多”的问题，但是在我们更改了服务器配置以支持更多的文件之后，我们出现了内存不足错误（分配了12gb/节点）
此外，我们也有Kafka稳定的问题。在大量的主题中，Kafka往往僵持不下。
我们的问题：
Kafka适合我们的用例场景吗？它能支持这么多的主题/分区吗？
我们是否可以用另一种方式组织kafka中的数据以避免此问题，但仍然能够对1产品/1动作类型具有良好的访问速度？
你有没有推荐其他Kafka的替代品更适合这个？