TL;DR:我正在寻找类似于Dataflow Flex --additional-user-labels 的东西,但用于“正常”Dataflow。
你好啊
我在Apache Beam中有一个自定义的数据流管道。
我知道我可以添加标签到管道如下:
PipelineOptions customOptions = PipelineFactory.createCustomOptions(args);
customOptions.setLabels(ImmutableMap.of("foo", "bar"));
Pipeline pipeline = Pipeline.create(customOptions);
但是否可以在运行时更改它?我需要通过Airflow标记一些Google Cloud Dataflow。我实际上传递了许多变量给PipelineOptions,但它们是ValueProvider,它们的值是在运行时访问/处理的。从Airflow运行数据流作业时,我是否可以执行类似的操作来更改标签?
先谢谢你了。
1条答案
按热度按时间vddsk6oq1#
目前,对于传统或经典模板,这仅通过在环境部分中提供“additionalUserLabels”经由基于REST API的调用来支持。如果你想请求gcloud命令来支持它,你可以提交一个功能请求,就像在flex templates中一样。