我正在研究Kafka的一个具体的用例，我正在工作。我有一个流动的数据流，我想处理它并将其发布到中间阶段。
在每个阶段（初始阶段和中间阶段），samza任务将进行处理和重新发布。我的一个要求是能够随时从特定阶段重新触发整个处理管道。
我知道kafka为每个日志（传入数据）维护一个偏移量。但是，kafka是否提供了一些功能，可以将分区偏移Map到某个自定义标识符（比如timestamp）并使用它从wards上的那个点重新触发整个管道？
我在多个地方读到，我可以重放Kafka提交日志重置它的开始，也回到一些n次。但是有没有一种方法可以让我把这些偏移量Map到我自己的标识符，比如时间戳，并用它作为一种机制来判断从哪个偏移量重放。
最好的
寒酸的
1条答案
按热度按时间rm5edbpk1#
您可以使用命令行工具kafka consumer groups根据时间戳（--to datetime）重置consumer group的偏移量。更多信息请参见文档页面：https://kafka.apache.org/documentation/#basic_ops_consumer_group
当然，同样的情况也可以通过代码来实现。