在Kafka Connect中,所有接收器连接器将使用命名转换为connect-connector_name
的不同组。但我想使用自定义名称作为前缀。(我们可以在接收器配置name properties
中这样做,但希望默认设置它)
我尝试在consumer.properties
文件中设置它,但没有用。
有人知道它是怎么设置的吗?另外,如果我为我的所有接收器连接器设置一个组,会发生什么情况?
在Kafka Connect中,所有接收器连接器将使用命名转换为connect-connector_name
的不同组。但我想使用自定义名称作为前缀。(我们可以在接收器配置name properties
中这样做,但希望默认设置它)
我尝试在consumer.properties
文件中设置它,但没有用。
有人知道它是怎么设置的吗?另外,如果我为我的所有接收器连接器设置一个组,会发生什么情况?
2条答案
按热度按时间46qrfjad1#
接收器任务的
ConsumerConfig``group.id
前缀始终为connect-
https://issues.apache.org/jira/browse/KAFKA-4400
consumer.properties
(可选)用于kafka-console-consumer
,而不是Connect API如果我为所有接收器连接器设置一个组,会发生什么情况?
你是说有一个
name
的单个连接器?然后,您会希望tasks.max
等于其消耗的所有主题的总分区。如果您指的是多个连接器,则不能;同一Connect群集中的所有连接器都需要唯一的
name
/connector.class
对mctunoxg2#
您可以重写任何使用者或生产者属性。您必须在Worker配置中使用
connector.client.config.override.policy = All
(默认为None
)。然后,您可以在属性consumer.override.group.id
中为您的任务重写Consumer er.group.id。例如:文档在此处
如果从映像
confluentinc/cp-kafka-connnect-base
在docker中使用Kafka-CONNECT,则可以从环境变量CONNECT_CONNECTOR_CLIENT_CONFIG_OVERRIDE_POLICY
设置此配置