在mongodb kafka源连接器中配置管道

eivgtgni  于 2021-06-04  发布在  Kafka
关注(0)|答案(0)|浏览(359)

我对源连接器使用以下配置,从mongodb中筛选和读取状态为“挂起”的特定记录。只需要轮询以挂起状态插入/更新的所有记录。如果排除管道,源连接器可以轮询所有记录。有人能帮助我了解如何解决这个问题吗?有没有一种方法可以知道轮询已经完成,就像批量作业已经完成一样,以便在kafka consumer上协调另一个进程?

name=mongo-source-demo
connector.class=com.mongodb.kafka.connect.MongoSourceConnector
tasks.max=1

# Connection and source configuration

connection.uri=mongodb://username:password@hostname:27017
database=test
collection=mongoDBtest
topic.prefix=mongodb.connector
poll.max.batch.size=1000
poll.await.time.ms=100000
publish.full.document.only=true
pipeline=[{"$match": { "Status" : "PENDING" }},{"$project":{"_id":1,"fullDocument":1}} ]

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题