我有kafka connect jdbc sink连接器写入各种数据库，我想限制一个数据库的流量。Kafka配额功能可以设置 consumer_byte_rate 客户端id的配额，但kafka connect客户端id如下所示 consumer-1234 和动态分配给连接器。因此，如果我的接收器连接器被重新平衡，它将被分配所有新的客户端ID。我尝试使用我的接收器连接器使用者组id作为客户端id来设置配额，但这不起作用。有没有办法为kafka connect消费群设置配额？
我有kafka connect jdbc sink连接器写入各种数据库，我想限制一个数据库的流量。Kafka配额功能可以设置 consumer_byte_rate 客户端id的配额，但kafka connect客户端id如下所示 consumer-1234 和动态分配给连接器。因此，如果我的接收器连接器被重新平衡，它将被分配所有新的客户端ID。我尝试使用我的接收器连接器使用者组id作为客户端id来设置配额，但这不起作用。有没有办法为kafka connect消费群设置配额？
1条答案
按热度按时间d7v8vwbk1#
如果升级到ApacheKafka2.3，您将受益于kip-411：使默认的kafka连接工作者任务客户端ID不同。你可以在这里看到一个例子。但是，您必须测试客户机id是否确定，因为配额不能通配符。