我在本地使用confluent platform 5.5.0,使用一个名为debezium的开源工具捕获数据库中的更改。因为max.request.size的值被设置为默认值1048576字节,所以我得到了一个recordtoolargeexception。因此,我为这些文件添加了以下属性,但仍然无法更新max.request.size。以下是我对相应文件所做的更改:
confluent-5.5.0/etc/kafka/producer.properties:max.request.size=2097152 replica.fetch.max.bytes=2097152
confluent-5.5.0/etc/kafka/consumer.properties:max.partition.fetch.bytes=2097152 fetch.message.max.bytes=2097152
confluent-5.5.0/etc/kafka/server.properties:message.max.bytes=2097152 replica.fetch.max.bytes=4194304
confluent-5.5.0/etc/kafka/connect-standalone.properties:producer.max.request.size=2097152,consumer.max.partition.fetch.bytes=2097152和consumer.fetch.message.max.bytes=2097152
confluent-5.5.0/etc/kafka/connect-distributed.properties:producer.max.request.size=2097152,consumer.max.partition.fetch.bytes=2097152和consumer.fetch.message.max.bytes=2097152
但即使使用confluent local stop和confluent local start重新启动服务,我仍然看到max.request.size和max.partition.fetch.bytes为1048576(默认值)。
所以我决定在连接器级别重写这些属性。我添加了 connector.client.config.override.policy=All
到confluent-5.5.0/etc/kafka/connect-distributed.properties、confluent-5.5.0/etc/kafka/connect-standalone.properties和confluent-5.5.0/etc/kafka/server.properties文件。我接着补充说 producer.override.max.request.size=2097152
到我的debezium源连接器的config.json,但是当我尝试使用post请求注册连接器时,收到以下错误消息: {"error_code":400,"message":"Connector configuration is invalid and contains the following 1 error(s):\nThe 'None' policy does not allow 'max.request.size' to be overridden in the connector configuration.\nYou can also find the above list of errors at the endpoint
/connector-plugins/{connectorType}/config/validate"}
这意味着 connector.client.config.override.policy=All
没有被提取,我应该在哪个文件中指定它?如何通过成功更改max.request.size值来解决recordtoolargeexception?感觉我已经尝试了所有我能在网上找到的东西,任何帮助都会非常感激。
暂无答案!
目前还没有任何答案,快来回答吧!