azure 我们能否同时使用Microsoft Purview和Unity Catalog

ycl3bljg  于 2023-01-27  发布在  其他
关注(0)|答案(1)|浏览(209)

Unity Catalog是适用于Lakehouse的Azure Databricks数据治理解决方案。而Microsoft Purview提供统一的数据治理解决方案,以帮助管理和治理内部部署、多云和软件即服务(SaaS)数据。

    • 问题**:在我们的same Azure云项目中,我们是否可以将Unity Catalog用于Azure数据块Lakehouse,并将Microsoft Purview用于Azure项目的其余部分?
    • 更新**:在我们当前的Azure订阅中,我们将工作负载划分如下:

1.* * SQL相关工作负载**:我们正在使用Databricks only(不涉及Azure SQL数据库)执行所有SQL数据库工作。也就是说,我们正在使用Databricks Lakehouse、Delta Lake、Deatricks SQL等来执行ETL和所有Data Analytics work
1.* * 所有非SQL工作负载**:所有其他资产(Excel文件、csv文件、pdf、媒体文件等)存储在各种Azure存储帐户中。
MS Purview在上述场景2中的资产扫描方面做得很好,它通过自动化数据发现、敏感数据分类和端到端数据沿袭,轻松创建了我们数据环境的最新整体Map,还使我们的数据消费者能够访问有价值、值得信赖的数据管理。
然而,我们几乎50%的工作(SQL、ETL、数据分析等)都是在Azure数据库中完成的,我们在使用Purview时遇到了重大挑战。我们想知道是否有可能将Purview和Unity Catalog分开,如下所示:Purview只为场景1做数据治理工作,Unity Catalog只为场景2做数据治理工作。
此最新发布的更新可能会解决我们的问题,使Purview更好地与Azure Databricks一起工作,但我们尚未尝试:Connect to and manage Azure Databricks in Microsoft Purview (Preview)

c6ubokkw

c6ubokkw1#

到目前为止,Unity Catalog和Purview之间还没有正式的集成,但将来可能会集成。您可以加入明天发布的Azure Databricks roadmap webinar以获取更多信息。
关于实际的问题-恕我直言,没有什么可以阻止您在同一个Azure项目中使用UC & Purview。
P.S.您可以通过从information schema tables加载数据并使用Purview API将其存储在Purview中来将元数据和世系信息获取到Purview中。

相关问题