java 在运行时将标签添加到Google Cloud Dataflow(Apache Beam)

vmdwslir  于 2023-06-28  发布在  Java
关注(0)|答案(1)|浏览(99)

TL;DR:我正在寻找类似于Dataflow Flex --additional-user-labels 的东西,但用于“正常”Dataflow。

你好啊
我在Apache Beam中有一个自定义的数据流管道。
我知道我可以添加标签到管道如下:

PipelineOptions customOptions = PipelineFactory.createCustomOptions(args);
  
customOptions.setLabels(ImmutableMap.of("foo", "bar"));
    
Pipeline pipeline = Pipeline.create(customOptions);

但是否可以在运行时更改它?我需要通过Airflow标记一些Google Cloud Dataflow。我实际上传递了许多变量给PipelineOptions,但它们是ValueProvider,它们的值是在运行时访问/处理的。从Airflow运行数据流作业时,我是否可以执行类似的操作来更改标签?
先谢谢你了。

vddsk6oq

vddsk6oq1#

目前,对于传统或经典模板,这仅通过在环境部分中提供“additionalUserLabels”经由基于REST API的调用来支持。如果你想请求gcloud命令来支持它,你可以提交一个功能请求,就像在flex templates中一样。

相关问题