我正在尝试自动化google云数据融合中的一些管道执行（目前我们正在使用6.1.4和6.4.0）。此时，我们正在通过put api调用将一些“运行时参数”注入df。我的问题是关于输入参数来修改configure部分。例如，我们当前正在使用“system.profile.name”参数来告诉此管道使用特定的概要文件，请参阅：运行时参数的屏幕截图。
我想知道是否有类似的配置选项来定义“configure/resources/executor memory”标签：“configure/resources”标签的屏幕截图。我知道这可以手动配置，方法是在导入管道之前修改ui或在管道模板（json）中设置不同的值。但我想知道，一旦部署了管道，是否有任何方法可以自动执行此操作（我不希望每次修改此操作时都重新部署管道）。
提前谢谢！
1条答案
按热度按时间1bqhqjot1#
我不认为可以将相同的设置为首选项，但您可以使用cdap的put api在管道上载时设置此设置，或更新管道：
PUT /v3/namespaces/<namespace-id>/apps/<pipeline-name>```{
"name": "",
"description": "Data Pipeline Application",
"artifact": {
"name": "cdap-data-pipeline",
"version": "[6.1.1,7.0.0)",
"scope": "SYSTEM"
},
"config": {
"resources": {
"memoryMB": 9999,
"virtualCores": 9
},
"driverResources": {
"memoryMB": 9999,
"virtualCores": 9
},
...
}
...
}