我有一台机器可以部署spark、hadoop和tachyon。hdfs/tachyon的spark操作在一个拥有所有内核/ram的节点上会更快吗,还是在一些vm节点上平均分配资源?ram小于200gb。spark中广播的性能和可伸缩性非常陈旧,但这表明网络流量的增加可能是all-vs-vm问题的一个严重负面因素。
e4eetjau1#
最好有多个worker示例,因为它们增加了网络开销,而jvm的性能与真正的大堆不是很好。
1条答案
按热度按时间e4eetjau1#
最好有多个worker示例,因为它们增加了网络开销,而jvm的性能与真正的大堆不是很好。