我看到redhat提出了一个可能的解决方案，glusterfs作为hadoop的后端。在这种情况下，您可以使用namenode/datanode体系结构，并用glusterfs替换它，同时您仍然具有hadoopmapreduceapi兼容性。只是想知道与本机hdfs相比性能如何？真的可以生产了吗？它是否也支持所有的hadoop生态系统？e、 太阳云、星火、 Impala 等。
8ehkhllq1#
免责声明：我为存储供应商工作。好。我对glusterfs不太了解，但我可以说lustre，因为它是一天结束时的posix。它是并行文件系统，但我最近查看的基准测试显示，它确实优于hdfs。但它绝对是一个可供生产使用的替代方案，为您的数据提供了一个单一的名称空间（不再接受hdfs）hadoop生态系统现在起了什么作用？我在今天的制作中看到的是spark，hive，hbase。在我看来，imapala需要hdfs的某些部分，这就是为什么它不能与posix fs一起工作，而不是hcfs。我做了一个快速的测试，我能够创建数据库和一切，但我无法获取任何行。如果你需要进一步的帮助，请告诉我。
1条答案
按热度按时间8ehkhllq1#
免责声明：我为存储供应商工作。好。我对glusterfs不太了解，但我可以说lustre，因为它是一天结束时的posix。它是并行文件系统，但我最近查看的基准测试显示，它确实优于hdfs。但它绝对是一个可供生产使用的替代方案，为您的数据提供了一个单一的名称空间（不再接受hdfs）
hadoop生态系统现在起了什么作用？我在今天的制作中看到的是spark，hive，hbase。在我看来，imapala需要hdfs的某些部分，这就是为什么它不能与posix fs一起工作，而不是hcfs。我做了一个快速的测试，我能够创建数据库和一切，但我无法获取任何行。
如果你需要进一步的帮助，请告诉我。