aws dms将事务性数据持续复制到数据仓库

0lvr5msh  于 2021-06-18  发布在  Mysql
关注(0)|答案(0)|浏览(181)

我希望有人能在我走得太远之前告诉我我是不是疯了。我有一个以mysql为后端的应用程序。我需要创建更健壮的报告,并选择在pgsql中构建数据仓库。挑战是我不希望dw一天只更新一两次。我希望它是接近实时(一些滞后是预期的,而不是一个问题)。
我研究了aws glue和其他一些选项,最后决定使用dms作为一种方法,将数据从mysql源复制到pgsql目标db以进行转移。然后我设置触发器函数,基本上操作pgsqldb中插入/更新的数据,并将其放到数据仓库中。该应用程序还连接到数据仓库,可以根据需要从数据仓库中提取报告和 Jmeter 板指标。
我已经建立了一个概念证明,它似乎工作,但它实际上只有我击中了目前的应用程序,所以我不知道如果我继续这个想法,并把它投入生产,它是否会坚持下去。
我目前有一个dms.t2.small复制示例(引擎版本2.4.4),cpu利用率约为15-20%。我目前没有为多az配置它。
我看到cdclatencytarget/cdclatencysource的组合值平均约为9秒。我想如果这是真的,那就不会让人难以忍受,尽管时间越短越好。我想说,如果时间过了一分钟,我们可能会开始看到抱怨。
我知道dms更适合于迁移,所以我想知道我是在用一种非常愚蠢的方式来做这件事,还是这是一个或多或少有效的用例?dms是否存在一些我不知道的问题,这些问题会导致我后来后悔这个决定?
另外,我很想知道你有什么想法,我可以把保护措施到位,以确保源和目标保持同步,如果他们没有,我知道它,或一些东西,将允许它自我愈合。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题