我正在使用spark dataframe API编写一个简单的查询,并对其调用show()操作。我看到这个动作有两个作业,第二个作业有一个跳过的阶段。据我所知,应该只有一份工作。谁能告诉我做两份工作的原因吗?
查询:
Dataset<Row> result1 = df.where("runs > 12000").select("team", "run")
.groupby("team").agg(count("run").as(""total_run));
result.show();
工作1:
工作2:
暂无答案!
目前还没有任何答案,快来回答吧!