apachespark部署:独立vs多个vm

vngu2lb8  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(338)

我有一台机器可以部署spark、hadoop和tachyon。hdfs/tachyon的spark操作在一个拥有所有内核/ram的节点上会更快吗,还是在一些vm节点上平均分配资源?ram小于200gb。
spark中广播的性能和可伸缩性非常陈旧,但这表明网络流量的增加可能是all-vs-vm问题的一个严重负面因素。

e4eetjau

e4eetjau1#

最好有多个worker示例,因为它们增加了网络开销,而jvm的性能与真正的大堆不是很好。

相关问题