使用mongodb sink connector通过不同的主键更新现有文档

s3fp2yjn  于 2021-06-04  发布在  Kafka
关注(0)|答案(1)|浏览(510)

我试图通过合流云来设置mongodb接收器连接器,它保持pgsql和mongodb之间的数据同步。
我希望下面的配置能够基于 id (int)字段(不是\u id-objectid),但是它在使用时只是在mongodb中创建一个新文档。pg中的文档将不包含\u id字段,因此我们需要对pgsql主键(id)进行查找。
你知道为什么这不是我所期望的吗?

{
  "connector.class": "MongoDbAtlasSink",
  "name": "mongodb-sink",
  "kafka.api.key": "mykey",
  "kafka.api.secret": "mysecret",
  "input.data.format": "JSON",
  "topics":"mytopic",
  "connection.host": "myhost",
  "connection.user": "myuser",
  "connection.password": "mypassword",
  "database": "mydatabase",
  "delete.on.null.values": "false",
  "tasks.max": "1",
  "document.id.strategy": "com.mongodb.kafka.connect.sink.processor.id.strategy.PartialValueStrategy",
  "document.id.strategy.partial.value.projection.list":"id",
  "document.id.strategy.partial.value.projection.type":"AllowList",
"writemodel.strategy":"com.mongodb.kafka.connect.sink.writemodel.strategy.ReplaceOneBusinessKeyStrategy"
}
iszxjhcz

iszxjhcz1#

key.projection.type 以及 value.projection.type 在云版本中显然不受支持,因此无法使用该配置。
云连接器限制

相关问题