使用postgres复制槽进行大数据处理的最佳实践是什么?

yruzcnhs  于 2021-06-05  发布在  Kafka
关注(0)|答案(1)|浏览(298)

我正在使用kafka源连接器,它从postgres捕获数据并创建主题。我已经用上千张唱片测试过了。但我想知道,即使是1000万条记录,复制槽是否也能正常工作。我需要采取额外的预防措施吗?

thtygnil

thtygnil1#

因此,在9.3及之前的版本中,在如下所述的情况下会出现问题:
如果由于某种原因,一个主设备和一个从设备在停止状态下停机很长一段时间而没有出现,则保持简单;如果备用服务器所需的主服务器的wal段已经被回收,那么备用服务器就赶不上主服务器,为了解决这个问题,我们以前有一个叫做wal\u keep\u segments的东西。设置一个更大的值,就可以解决这个问题。
转到postgres9.4的更新版本,我们得到了 replication slot .
从官方文件来看:
复制插槽提供了一种自动化的方法,以确保主服务器在所有备用服务器接收到wal段之前不会删除它们,并且主服务器不会删除即使在备用服务器断开连接时也可能导致恢复冲突的行。
因此,基本上复制插槽只保留已知需要的段数。因此,基本上它将按照上面提到的设计方式运行,而不考虑行数。
希望这能回答您的问题,更多信息请参见官方文件。

相关问题