为什么调用show()操作会在spark中创建两个单独的作业?

bvuwiixz  于 2021-05-24  发布在  Spark
关注(0)|答案(0)|浏览(249)

我正在使用spark dataframe API编写一个简单的查询,并对其调用show()操作。我看到这个动作有两个作业,第二个作业有一个跳过的阶段。据我所知,应该只有一份工作。谁能告诉我做两份工作的原因吗?
查询:

Dataset<Row> result1 = df.where("runs > 12000").select("team", "run")
                        .groupby("team").agg(count("run").as(""total_run));

result.show();

工作1:

工作2:

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题