宽转换期间和之后的分区数是否保持等于shuffle.partitions参数,还是在宽转换完成后返回到原始分区数?在大范围转换期间,必须为所有洗牌分区分配一个任务?
bvhaajcl1#
是的,一旦广域转换完成,分区的数量就会恢复正常。通过设置spark shuffle分区并运行一个广泛的转换并检查red.getnumpartitions来验证这一点。你可以尝试一下简单的Spark工作。
1条答案
按热度按时间bvhaajcl1#
是的,一旦广域转换完成,分区的数量就会恢复正常。通过设置spark shuffle分区并运行一个广泛的转换并检查red.getnumpartitions来验证这一点。你可以尝试一下简单的Spark工作。