spark worker目录

hs1ihplo  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(280)

我在一个有4个磁盘(/mnt1,/mnt2,/mnt3,/mnt4)的节点上运行spark。我想将执行器的临时输出写入本地目录。有没有办法将这些磁盘统一分配给执行器,以便所有磁盘都得到统一使用?当前,它从“foreachparition”操作写入/mnt1的所有数据。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题