我正在处理一个数据集,其中我需要删除一些只包含NULL
值的列。问题是列名不一致或不相似,并且可能随时间而更改。我想知道,如果所有示例都是NULL
而没有漂移列,ADF中是否有方法删除列?
我尝试过取消透视、删除行,然后重新透视,但在将数据透视回其原始格式后,我收到以下消息:
"此漂移列不在源架构中,因此只能使用模式匹配表达式引用"
漂移的列似乎不能在后续的连接函数中连接,我也尝试过用regex列模式设置派生列,使所有漂移列显式,但是byName()
函数似乎不能使用$$
语法;即:
toString(byName($$))
任何关于如何在Azure数据工厂-数据流中解决这个问题的想法都将非常感谢!
1条答案
按热度按时间w1jd8yoj1#
如果源列名将更改,则必须使用列模式。根据模式匹配列时,可以使用Select转换将这些列投影到列中。在Select转换中使用基于规则的Map选项,将true()用作匹配表达式,将$$用作“名称为”属性,如下所示: