我用的是dbt spark。我们每天都会将一些源增量表复制到spark数据湖中。我的源表没有字段 loaded_at_field
为了确定新鲜度,我想从源delta表元数据中添加copy updated time(例如,可以使用sql命令获取源表updated time) "%sql describe detail <source_table_name>"
). 我可以在dbt中添加一个元数据查询<descripe\u detail\u source\u table\u name>作为源,但是这个源不会是我的下游表sql查询的一部分。如何将此元数据查询作为依赖项添加到下游表中?
我可以组合源表和源元数据来添加update\u date列,并使我的下游表从组合的源表中读取。
暂无答案!
目前还没有任何答案,快来回答吧!