pyspark 如何从不同作业并发运行相同数据块Notebook

qncylg1j  于 2023-08-02  发布在  Spark
关注(0)|答案(1)|浏览(120)

我有一个名为X的databricks笔记本,我想同时从两个不同的作业调用这个X笔记本。两个不同的作业,例如A和B,具有它们自己的作业集群。
简而言之:-我想笔记本电脑从2个作业并行运行两次。有什么办法可以做到这一点?

brccelvz

brccelvz1#

您可以使用Databricks Jobs工作流来实现您的需求。
进入工作流->创建作业-给予为您的作业命名。
x1c 0d1x的数据
给予你的笔记本路径,然后点击创建。在创建第二个作业时也执行相同的操作。
现在,要并行运行,请同时调度两个作业。



你可以看到我的两个作业是并行运行的。


相关问题