我正在用bigquery下沉postgres数据库，它正在工作，但是当我插入、更新或删除一行（postgres）时，它会出现在bigquery的3行中：一行使用insert命令，另一行使用update命令，最后一行使用delete命令。
例如：
1-插入后
Postgres
--------------------
id | name | deleted
--------------------
1 | John | false
--------------------
BigQuery
--------------------
id | name | deleted
--------------------
1 | John | false
--------------------2-更新名称后
Postgres
--------------------
id | name | deleted
--------------------
1 | Mary | false
--------------------
BigQuery
--------------------
id | name | deleted
--------------------
1 | John | false
1 | Mary | false
--------------------3-删除后
Postgres
--------------------
id | name | deleted
--------------------
1 | Mary | true
--------------------
BigQuery
--------------------
id | name | deleted
--------------------
1 | John | false
1 | Mary | false
1 | Mary | true
--------------------有人能告诉我怎么解决这个问题吗？
1条答案
按热度按时间fjaof16o1#
听起来您使用的是debeziumpostgres连接器，它从数据库中捕获所有相关事件，并为每个事件创建新记录。
不确定您是否希望bigquery与数据库完全匹配，但如果是这样的话，您可能不会使用kafka connect，因为它几乎总是向bigquery插入新记录（取决于连接器实现的详细信息），而是使用一些批处理来周期性地将整个数据库导入biqquery