我需要设置3节点Kafka集群与30个主题连接到源数据库的数量。我不确定要处理的消息的确切数量，但我猜每天将有数百万条。Kafka主题和数据的保留期定为30天。我应该可以回到30天前的数据，以备需要。你能告诉我该怎么办吗。非常感谢
2wnc66cl1#
设置：您可以按照给定文档中的说明设置多代理集群。https://kafka.apache.org/quickstart#quickstart_multibroker在3节点集群中，您应该为主题配置3个代理和3个zookeeper节点以及复制因子3。根据您的需求/用例，每个主题可以有3个或更多分区。保留：可以使用log.retention.hours定义保留策略https://kafka.apache.org/documentation/#brokerconfigs你应该收集更多关于你的数据是如何产生和使用的信息。根据用户端的处理逻辑，每个分区消耗一百万条消息应该不是什么大问题。不过，您可以添加更多分区以进行并行处理并提高吞吐量。你应该在你的问题具体，但我试图和希望这有帮助！
1条答案
按热度按时间2wnc66cl1#
设置：您可以按照给定文档中的说明设置多代理集群。https://kafka.apache.org/quickstart#quickstart_multibroker
在3节点集群中，您应该为主题配置3个代理和3个zookeeper节点以及复制因子3。根据您的需求/用例，每个主题可以有3个或更多分区。
保留：可以使用log.retention.hours定义保留策略https://kafka.apache.org/documentation/#brokerconfigs
你应该收集更多关于你的数据是如何产生和使用的信息。根据用户端的处理逻辑，每个分区消耗一百万条消息应该不是什么大问题。不过，您可以添加更多分区以进行并行处理并提高吞吐量。
你应该在你的问题具体，但我试图和希望这有帮助！