我有一个正在运行的landoopfastdatadevdocker容器示例,它以sqlserver作为源,s3作为接收器。源配置为
name=JdbcSourceConnector
connector.class=io.confluent.connect.jdbc.JdbcSourceConnector
tasks.max=1
connection.url=jdbc:sqlserver:/hostname.com.au:1433;databaseName=DB;user=;password=
topic.prefix=activitylog
timestamp.column.name=DateTimeStamp
query=Select * from dbo.activitylog
mode=timestamp
table.types=VIEW
poll.interval.ms=5000
batch.max.rows=1000
一旦配置了s3接收器,我可以看到大约1000行立即写入s3,但之后什么也没有发生。我的源代码已经有数千行,但是生产者在第一次运行之后就不再生成任何主题了。是否有任何进一步的配置要做,以便生产者不断地创建主题?
s3接收器连接如下所示
name=S3SinkConnector
connector.class=io.confluent.connect.s3.S3SinkConnector
topics=activitylog
tasks.max=1
format.class=io.confluent.connect.s3.format.avro.AvroFormat
flush.size=3
s3.bucket.name=testbucket
storage.class=io.confluent.connect.s3.storage.S3Storage
s3.region=ap-southeast-2
s3.part.size=5242880
partitioner.class=TimeBasedPartitioner
path.format= YYYYMMdd_HH
timezone=AEST
请帮忙。
暂无答案!
目前还没有任何答案,快来回答吧!