我正在使用spatialhadoop存储和索引一个包含8700万个点的数据集。然后应用各种范围查询。我测试了3种不同的集群配置：1、2和4个节点。不幸的是，我没有看到运行时随着节点数的增加而减少。你知道为什么没有水平缩放效应吗？
gkl3eglg1#
你的文件有多大（兆字节）？虽然它有8700万个点，但它仍然可以很小，以至于hadoop决定只从中创建一个或两个split。如果是这种情况，您可以尝试减小hdfs配置中的块大小，以便将文件拆分为多个块。另一种可能性是，您可能在同一台计算机上运行虚拟节点，这意味着您没有获得真正的分布式环境。
1条答案
按热度按时间gkl3eglg1#
你的文件有多大（兆字节）？虽然它有8700万个点，但它仍然可以很小，以至于hadoop决定只从中创建一个或两个split。
如果是这种情况，您可以尝试减小hdfs配置中的块大小，以便将文件拆分为多个块。
另一种可能性是，您可能在同一台计算机上运行虚拟节点，这意味着您没有获得真正的分布式环境。