kafka connect standalone无法设置max.requests.size

n3ipq98p  于 2021-06-04  发布在  Kafka
关注(0)|答案(0)|浏览(216)

我在独立模式下运行kafka connect,我已经开始 org.apache.kafka.common.errors.RecordTooLargeException 信息如下:
序列化时消息为1259203字节,大于1048576(max.request.size配置的值)。
我似乎不知道如何增加这个属性,并使它坚持。我通过谷歌搜索找到了很多解决方案,但似乎没有任何效果: Setting it in connect-standalone.properties :producer.max.request.size=16777216 Setting it in producer.properties :max.request.size=16777216
在做了所有这些之后,我做了: confluent local destroy confluent local start confluent local log connect 我总是在日志里看到:

ost:9092 (org.apache.kafka.connect.util.TopicAdmin:230)
[2020-09-18 13:36:32,744] INFO ProducerConfig values: 
        acks = all
        batch.size = 16384
        bootstrap.servers = [localhost:9092]
        buffer.memory = 33554432
        client.dns.lookup = default
        client.id = 
        compression.type = none
        connections.max.idle.ms = 540000
        delivery.timeout.ms = 2147483647
        enable.idempotence = false
        interceptor.classes = []
        key.serializer = class org.apache.kafka.common.serialization.StringSerializer
        linger.ms = 0
        max.block.ms = 60000
        max.in.flight.requests.per.connection = 1
        max.request.size = 1048576

注意:max.request.size=1048576
我错过了什么?
编辑:我注意到的一件事是,当我开始合流时,我看到:
使用confluent\u current:/var/folders/nh/12t\u 10dn2nn5tq4yy25mcyp0p04b98/t/confluent.lfzm3fzy
如果我转到connect文件夹下,查看connect.properties。我的最大尺寸不在里面。应该是吗?这是怎么形成的?
看起来运行confluent local start并不是为了获取独立连接属性。有什么方法可以证明这一点吗?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题