基于列中的值删除Azure Data Factory中的列

gmol1639  于 2023-01-05  发布在  其他
关注(0)|答案(1)|浏览(185)

我正在处理一个数据集,其中我需要删除一些只包含NULL值的列。问题是列名不一致或不相似,并且可能随时间而更改。我想知道,如果所有示例都是NULL而没有漂移列,ADF中是否有方法删除列?
我尝试过取消透视、删除行,然后重新透视,但在将数据透视回其原始格式后,我收到以下消息:
"此漂移列不在源架构中,因此只能使用模式匹配表达式引用"
漂移的列似乎不能在后续的连接函数中连接,我也尝试过用regex列模式设置派生列,使所有漂移列显式,但是byName()函数似乎不能使用$$语法;即:

toString(byName($$))

任何关于如何在Azure数据工厂-数据流中解决这个问题的想法都将非常感谢!

w1jd8yoj

w1jd8yoj1#

如果源列名将更改,则必须使用列模式。根据模式匹配列时,可以使用Select转换将这些列投影到列中。在Select转换中使用基于规则的Map选项,将true()用作匹配表达式,将$$用作“名称为”属性,如下所示:

相关问题