kafka connect-刷新失败,超时/提交偏移失败

gijlo24d  于 2021-06-06  发布在  Kafka
关注(0)|答案(0)|浏览(258)

我得到以下错误:
error workersourcetask(id=test-mysql-dbc-source-0)刷新失败,在等待生产者刷新未完成的消息时超时。
提交偏移量失败(org.apache.kafka.connect.runtime.workersourcetask:)"
设置:
我在aws中有一个ec2示例(t2.medium-2核4gbram),用作kafka服务器。另一个ec2示例有一个沙盒mysql数据库和kafka connect与合流jdbc源连接器。python脚本在一个表中随机插入几行,以模拟某些活动。在我的笔记本电脑上,我打开kafka console consumer来读取来自kafka服务器的消息。
端口22、3306、9092、2888对两个ec2示例上的所有ip地址开放。
下面是我用于kafka connect源代码的配置文件
配置文件:
connect-standalone.properties属性

bootstrap.servers=FIRST_EC2_PUBLIC_IP:9092
key.converter.schemas.enable=true
value.converter.schemas.enable=true
offset.storage.file.filename=/tmp/connect.offsets
acks=1
compression.type=lz4
plugin.path=/usr/share/java

jdbc\ u source.properties属性

name=test-mysql-jdbc-source
connector.class=io.confluent.connect.jdbc.JdbcSourceConnector
tasks.max=1
connection.url=jdbc:mysql://localhost:3306/DB_NAME
connection.user=root
connection.password=DB_PASSWORD
table.whitelist=TEST_TABLE  
mode=timestamp+incrementing
incrementing.column.name=ID_RECORD
timestamp.column.name=TIMESTMP
topic.prefix=mysql-source-
acks=1
compression.type=lz4

我试着用各种设置和选项来操作。大部分时间我都试着和他玩 offset.flush.timeout.ms 以及 buffer.memory 此链接中建议的选项。
生产者的行为:
所以基本上,在我的第二个ec2示例上启动了一个producer之后,我可以在kafka console consumer中看到我笔记本电脑上的消息,所以它可以工作。我可以看到新的记录,因为他们出现了一段时间。然而,通常在表中创建新行时,producer不会将其推送到kafka服务器(第一个ec2示例),并在大约5到20分钟内抛出上述错误。未处理邮件的数量不会太多。大多数时候是2-6条信息。在抛出一个错误5-20分钟后,它最终发送数据,控制台使用者消耗数据并正常工作一段时间,然后再次出现错误。
如果我手动停止producer并再次启动它,未完成的消息会立即刷新,并且可以在我笔记本电脑上的控制台使用者中看到。
你能告诉我,问题出在哪里,是什么导致了这样的行为吗。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题