在我的设置中，hadoop和spark都运行在同一个网络上，但是在不同的节点上。我们可以将spark作为一个单独的服务启动，与现有hadoop集群一起运行。它会显示出性能上的改进吗？我在hdfs中加载了数千个10gb左右的文件。hadoop有8个节点，spark有1个主节点和5个工作节点
bvuwiixz1#
只要工人在同一个节点上，我们就具有局部性的优势。你也可以和hadoop一起启动你的服务。
1条答案
按热度按时间bvuwiixz1#
只要工人在同一个节点上，我们就具有局部性的优势。你也可以和hadoop一起启动你的服务。