你能在Git仓库中添加Databricks任务吗?

bttbmeg0  于 2023-09-29  发布在  Git
关注(0)|答案(2)|浏览(116)

我正在尝试将databricks作业添加到git repo。我看到你可以在作业中从git仓库运行notebook,但我不知道是否有可能将作业本身添加到git仓库。

von4xj4u

von4xj4u2#

仍然不可能将作业定义“原生”保存到Git中,但可以通过不同的方式完成:

  • 使用Databricks Terraform提供程序的databricks_job资源(doc)。使用它的最大优点是它允许处理对其他资源的依赖关系,如现有集群,DLT管道等。但这需要熟悉地形。您还可以使用Terraform Exporter功能(doc)导出具有依赖关系的现有作业,并使用-match选项导出所选作业。
  • 使用Databricks Asset Bundles -这是new Databricks CLI相对较新的功能,允许使用YAML文件描述作业和资源,然后部署到工作空间。请参阅product tourDAIS 2023 presentation以了解更多详细信息。
  • 从UI将Databricks Job定义导出为JSON,然后将该JSON定义与Databricks CLI或REST API一起使用。当您需要部署一个依赖于其他资源的作业时,此方法最为复杂,因此在您知道自己在做什么之前,不建议使用此方法。

相关问题