如何在databricks的文件夹中运行所有以前的笔记本?

50pmv0ei  于 2021-07-14  发布在  Spark
关注(0)|答案(1)|浏览(419)

我发现在databricks中运行所有以前的笔记本时,这是一个非常常见的需求:
因为前一个集群不起作用,需要在前几天创建一个新集群。这在databricks的社区示例中很常见。https://community.cloud.databricks.com/
要达到与以前相同的状态,它需要运行以前的所有笔记本
现在我只能一个接一个地手动完成
解决方案需要:
清除每个笔记本上的所有结果和状态
并按顺序运行以前的所有笔记本
有点类似于笔记本中的函数“runall above”

ds97pgxw

ds97pgxw1#

找到了一两种方法:https://medium.com/datasentics/how-to-execute-a-databricks-notebook-from-another-notebook-b4a5b093cb2
对于databricks社区版,它只能使用 %run .. 例如,对于azure databricks,我可以创建一个新笔记本,其中包含一堆单元格,如:

dbutils.notebook.run('00_ingest_raw', timeout_seconds=0)

相关问题