我们正在尝试通过 shell 脚本使用REST API调用触发现有Azure Databricks笔记本。工作区中有正在运行的现有群集。我们希望将Databricks笔记本与现有群集连接并触发笔记本我们正在尝试弄清楚配置和REST API调用,它们可以在运行时动态地触发具有特定集群的笔记本电脑。
o3imoua41#
我复制了上面的结果,得到了下面的结果。在这里,我创建了两个群集C1和C2以及两台笔记本电脑Nb1和Nb2。
Nb1
Nb2
我的Nb1示例笔记本代码:
print("Hello world")我已经创建了Nb1作业,并使用C2附带的Nb2中的以下shell脚本在C1集群中执行了该作业。
print("Hello world")
%sh curl -n --header "Authorization: Bearer <Access token>" \ -X POST -H 'Content-Type: application/json' \ -d '{ "run_name": "My Notebook run", "existing_cluster_id": "<cluster id>", "notebook_task": { "notebook_path": "<Your Notebook path>" } }' https://<databricks-instance>/api/2.0/jobs/runs/submit
从Nb2:执行
Nb2:
创建的作业:
作业输出:
1条答案
按热度按时间o3imoua41#
我复制了上面的结果,得到了下面的结果。
在这里,我创建了两个群集C1和C2以及两台笔记本电脑
Nb1
和Nb2
。我的Nb1示例笔记本代码:
print("Hello world")
我已经创建了Nb1作业,并使用C2附带的Nb2中的以下shell脚本在C1集群中执行了该作业。
从
Nb2:
执行创建的作业:
作业输出: