我们如何配置现有的集群，使其在使用REST API调用通过shell脚本触发的Databricks笔记本上运行？

vwoqyblh 于 2022-11-30 发布在 Shell

关注(0)|答案(1)|浏览(151)

我们正在尝试通过 shell 脚本使用REST API调用触发现有Azure Databricks笔记本。工作区中有正在运行的现有群集。我们希望将Databricks笔记本与现有群集连接并触发笔记本
我们正在尝试弄清楚配置和REST API调用，它们可以在运行时动态地触发具有特定集群的笔记本电脑。

shell

来源：https://stackoverflow.com/questions/74597441/how-can-we-configure-an-existing-cluster-to-run-with-databricks-notebook-being-t

1条答案

按热度按时间

o3imoua41#

我复制了上面的结果，得到了下面的结果。
在这里，我创建了两个群集C1和C2以及两台笔记本电脑Nb1和Nb2。

我的Nb1示例笔记本代码：

print("Hello world")
我已经创建了Nb1作业，并使用C2附带的Nb2中的以下shell脚本在C1集群中执行了该作业。

%sh
curl -n --header "Authorization: Bearer <Access token>" \
-X POST -H 'Content-Type: application/json' \
-d '{
     "run_name": "My Notebook run",
     "existing_cluster_id": "<cluster id>",
     "notebook_task": 
     {
      "notebook_path": "<Your Notebook path>"
      }
    }' https://<databricks-instance>/api/2.0/jobs/runs/submit

从Nb2:执行