我们希望在GCP VM中连续运行(轮询)scala/python代码,仅当BQ表中的值发生变化时,才运行ETL程序。即,我们将添加要在BQ表中运行的ETL,并基于该ETL程序通过GCP VM运行。如果BQ表中有多个值,则应同时运行多个ETL程序。我们怎样才能达到同样的目的。
hof1towb1#
每当BQ更新时运行您的代码块,您可以使用无服务器选项,如云运行。这是一个简单的过程,每当BQ更新时,将生成日志,我们可以根据生成的日志创建云运行触发器。整个实现过程在此documentation中解释,请检查。
1条答案
按热度按时间hof1towb1#
每当BQ更新时运行您的代码块,您可以使用无服务器选项,如云运行。这是一个简单的过程,每当BQ更新时,将生成日志,我们可以根据生成的日志创建云运行触发器。整个实现过程在此documentation中解释,请检查。