Azure Data Factory V2探索管道依赖项

h4cxqtbf  于 2023-03-31  发布在  其他
关注(0)|答案(2)|浏览(100)

我正在使用相当多的管道,这涉及到管道之间的许多依赖关系。
这并不理想,原因如下:

  • 要知道如果你改变了一个管道中的某些东西,其他的管道会受到什么影响就变得更加困难了
  • 能够记录整个数据工厂结构

理想情况下,我应该能够“选择”一个随机管道,并能够知道它在执行之前和之后的管道依赖关系。
我在考虑使用Data Factory SDK来尝试构建我所有管道的依赖结构。但我想我会把它扔出去,看看是否有人发现了任何解决方案,或者在进入兔子洞之前有任何想法。
我很感激你的建议。
干杯,布兰登

k10s72fa

k10s72fa1#

Brendan,我们的ADF连接到git,所以当我需要知道如果我用名称somePipelineName更改管道会受到什么影响时,我后藤git bash并输入

grep --color=always -4 "somePipelineName" *

在管道文件夹中
这有助于我找到可以调用管道的所有位置。

更新时间:2020-09-17

我今天注意到,我们现在有相关的管道上市

bvk5enib

bvk5enib2#

将Az.数据工厂模块(在Powershell...中)与Get-AzDataFactoryV 2 Pipeline中的特定管道对象一起使用
$azDFPipelines = Get-AzDataFactoryV2Pipeline -ResourceGroupName =“$azRG”-DataFactoryName =“$AzADFName”
“Activities”属性可以展开,其DependsOn属性也可以展开:
$azDF管道[X]|选择ADFName -ExpandProperty活动|选择adfName,name,description -expandproperty DependsOn
ADFName:管道名称名称:流水线中活动/对象的名称描述:管道中活动/对象的描述DependsOn:·来自活动/对象的依赖关系(例如,它“连接”到的对象)的数据。
我有一个脚本可以做到这一点,并通过out-gridview运行输出。从那里,我可以添加不同的条件字段,以帮助在我的“服务器”上的整个管道集合中查找内容。有点帮助,如果不是真的非常用户友好。

import-module Az.Accounts
import-module Az.DataFactory
$azAcct = Connect-AzAccount -subscription 'your_subscription_name'
#$azRgName, $azDFName are "empirically determined"
enter code here
$azDFPipelines = Get-AzDataFactoryV2Pipeline -ResourceGroupName "$azRGname" -DataFactoryName "$azDFName" 
###need to coerce the Name property to ADFName because it's also a member of the Activities object/property...
$adf = $azDFPipelines | select-object @{N='ADFName';E={$_.name}},`
@{N='Activities';E={$_.Activities}}

Next-level would be making it essentially walk the tree in a given pipeline or from a pipeline's specific pipeline object, and spit out graphviz "dot" or Mermaid graph language .md (or .vsdx...)

###expand Activities, and also select just a few properties from Activities:
$adflist = $adf | select ADFName -ExpandProperty Activities | select ADFName, name, description, notebookpath, additionalproperties
$adfList | out-gridview

下一个级别将使其基本上在给定管道中或从管道的特定管道对象中遍历树,并吐出graphviz“dot”或Mermaid graph language .md(或. vsdx...)。

展开Activities,在Activities中选择几个属性:$adflist = $adf|选择ADFName -ExpandProperty活动|选择ADFName,name,description,notebookpath,additionalproperties $adfList|外网格视图

可以从additionalproperties集合中提取DependsOn...
AdditionalProperties具有要在其中运行的“下一个”事物的名称、它是什么等。
与SSIS一样,通过ADF管道的执行流是“并行”的,并且非确定性地调用,除非它们彼此串行连接。

相关问题