在跟踪集合的更新操作时,如何使用kafka mongodb源连接器获取完整文档?

vu8f3i0k  于 2021-06-04  发布在  Kafka
关注(0)|答案(1)|浏览(344)

我正在使用kakfa mongodb源代码连接器[https://www.confluent.io/hub/mongodb/kafka-connect-mongodb]融合平台v5.4。下面是我的mongodb源连接器配置

{
    "name": "mongodb-replica-set-connector",
    "config": {
        "tasks.max": 1,
        "connector.class": "com.mongodb.kafka.connect.MongoSourceConnector",
        "key.converter": "org.apache.kafka.connect.storage.StringConverter",
        "value.converter": "org.apache.kafka.connect.storage.StringConverter",
        "connection.uri": "mongodb://<username:password>@<MongoDB-Server-IP-Or-DNS>/<DB-Name>?ssl=false&authSource=<DB-Name>&retryWrites=true&w=majority",
        "database": "<DB-Name>",
        "collection": "<Collection-Name>",
        "topic.prefix": ""
    }
}

当中的一条记录插入到指定的集合中时,我将获得完整和正确的文档详细信息。但是当我执行删除或更新操作时,我没有得到完整的文档。下面是从读取配置中指定的主题的流中执行删除和更新操作的屏幕截图。

我的问题是-我应该在配置中指定什么,以便在执行更新操作时获得完整的文档?有没有办法获得被删除文档的id或key等信息?

r1zk6ea1

r1zk6ea11#

使用属性 publish.full.document.only": "true" 在mongodb连接器配置中,用于在mongodb集合上执行任何创建和更新操作时获取完整文档。无法跟踪删除操作,因为它不符合cdc(更改数据捕获)概念。只能捕获数据中的更改(创建/更新)。

相关问题