初始批量加载后未创建kafka主题

x8goxv8g  于 2021-06-06  发布在  Kafka
关注(0)|答案(0)|浏览(180)

我有一个正在运行的landoopfastdatadevdocker容器示例,它以sqlserver作为源,s3作为接收器。源配置为

name=JdbcSourceConnector
connector.class=io.confluent.connect.jdbc.JdbcSourceConnector
tasks.max=1    
connection.url=jdbc:sqlserver:/hostname.com.au:1433;databaseName=DB;user=;password=
topic.prefix=activitylog
timestamp.column.name=DateTimeStamp
query=Select * from dbo.activitylog
mode=timestamp 
table.types=VIEW
poll.interval.ms=5000
batch.max.rows=1000

一旦配置了s3接收器,我可以看到大约1000行立即写入s3,但之后什么也没有发生。我的源代码已经有数千行,但是生产者在第一次运行之后就不再生成任何主题了。是否有任何进一步的配置要做,以便生产者不断地创建主题?
s3接收器连接如下所示

name=S3SinkConnector
connector.class=io.confluent.connect.s3.S3SinkConnector
topics=activitylog
tasks.max=1
format.class=io.confluent.connect.s3.format.avro.AvroFormat
flush.size=3
s3.bucket.name=testbucket
storage.class=io.confluent.connect.s3.storage.S3Storage
s3.region=ap-southeast-2
s3.part.size=5242880
partitioner.class=TimeBasedPartitioner
path.format= YYYYMMdd_HH
timezone=AEST

请帮忙。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题