我被困在一个典型的用例或场景中，我不确定Kafka会有什么样的行为。。
我用的是SpringKafka和Spring Boot。在我的应用程序中，我有一个rest端点，它将读取一个主题开头的所有消息，检查消息是否重复，如果不重复，则写入主题。
当部署同一微服务的多个示例并移动偏移量以执行seekfromfeaging操作时，我对应用程序的行为感到困惑。
我脑子里的几个问题是：
do reading from beginning of a topic (with the help of seek) block the topic ?
If Yes. then how to solve this typical use case where we have to validate for the
duplication of message before writing to the topic.使用db不是一个解决方案，因为它将是资源密集型的。并使应用程序变慢。
提前谢谢大家
1条答案
按热度按时间c9x0cxw01#
听起来您需要日志压缩功能：
日志压缩确保kafka在单个主题分区的数据日志中始终至少保留每个消息键的最后一个已知值。
因此，当您指定一些
message key，分区中不会有多个。因此，在存储之前，您根本不需要阅读主题。