如何在BQ表中的值改变时触发scala/python代码

yrdbyhpb  于 2022-12-26  发布在  Scala
关注(0)|答案(1)|浏览(133)

我们希望在GCP VM中连续运行(轮询)scala/python代码,仅当BQ表中的值发生变化时,才运行ETL程序。即,我们将添加要在BQ表中运行的ETL,并基于该ETL程序通过GCP VM运行。
如果BQ表中有多个值,则应同时运行多个ETL程序。
我们怎样才能达到同样的目的。

hof1towb

hof1towb1#

每当BQ更新时运行您的代码块,您可以使用无服务器选项,如云运行。这是一个简单的过程,每当BQ更新时,将生成日志,我们可以根据生成的日志创建云运行触发器。整个实现过程在此documentation中解释,请检查。

相关问题