我有一个核心层,其中有一些表,我想找出这些表是由源层中的哪些表组成的。就像核心层中的表是由源层中的一些表连接而成的。我想使用代码生成一个Excel工作表,以便能够显示核心表是由哪些表组成的。我在数据块上使用PySpark,代码是为在笔记本中创建表格而编写的。任何关于如何处理这一问题的帮助都将是有益的。
unftdfkk1#
当您使用Databricks Unity Catalog时,这是可能的-作为它的一部分,有一个名为Data Lineage的功能,它跟踪哪些表和列被用于创建特定表,以及谁是它的消费者。它还包括可用于导出沿袭数据的沿袭API。
1条答案
按热度按时间unftdfkk1#
当您使用Databricks Unity Catalog时,这是可能的-作为它的一部分,有一个名为Data Lineage的功能,它跟踪哪些表和列被用于创建特定表,以及谁是它的消费者。它还包括可用于导出沿袭数据的沿袭API。