我们使用Kafka来捕获数据库中的数据更改，这些更改将同步到其他服务。
为了将数据同步到其他服务，在消费数据后，我们将进行某些处理。
1分区将包含多个客户数据，如果任何客户突然产生更多数据，则该客户会减慢其他客户的同步速度。我们可以通过识别该客户并将该进程卸载到另一个线程来处理，或者只有当我们为一个客户提供一个专用线程时才能解决这个问题。
我想知道这是否是处理这类问题的有效方法。是否有任何标准化的解决方案可以遵循或任何设计模式需要改变这个用例
我们使用Kafka来捕获数据库中的数据更改，这些更改将同步到其他服务。
为了将数据同步到其他服务，在消费数据后，我们将进行某些处理。
1分区将包含多个客户数据，如果任何客户突然产生更多数据，则该客户会减慢其他客户的同步速度。我们可以通过识别该客户并将该进程卸载到另一个线程来处理，或者只有当我们为一个客户提供一个专用线程时才能解决这个问题。
我想知道这是否是处理这类问题的有效方法。是否有任何标准化的解决方案可以遵循或任何设计模式需要改变这个用例
1条答案
按热度按时间yc0p9oo01#
您可以在线程之间卸载消费者处理，是的，参见parallel consumer。
但这并不能解决你的“过载分区”问题，因为“延迟偏移”仍然会停留在“过度活跃”的数据后面，仍然需要在“不活跃”的数据之前读取。换句话说，消费者不能在稍后的偏移处预取数据或知道何时“过度活跃数据结束”。