在本地和云上运行hadoop意味着什么？这是否意味着同一hadoop集群中的节点同时在本地和公共云上配置？如果我把数据放在本地，而计算机放在公共云上，我有什么选择？这可能违背了hadoop的基本原则，在hadoop中数据局部性非常重要。提供大数据平台的混合云提供商有哪些？
jhkqcmku1#
你可能想看看alluxio。它基本上是一个hadoop兼容的数据层。使用alluxio，您可以保持本地hdfs数据的原样（无需复制数据），但可以将其装载到alluxio（使其可见）。然后，您可以在任何云（ec2、gcp，甚至是另一个计算量更大的数据中心）中对alluxio运行spark、presto或任何分析工作负载。alluxio将数据拉入计算中，以恢复在计算和存储分离时完全丢失的数据位置。只有需要的数据才能被提取出来。对于读取量大的工作负载，相同的数据被多次读取，这种方法非常有效。这里有一个链接可以解释更多：https://www.alluxio.io/use-cases/hybrid-cloud-analytics/
1条答案
按热度按时间jhkqcmku1#
你可能想看看alluxio。它基本上是一个hadoop兼容的数据层。使用alluxio，您可以保持本地hdfs数据的原样（无需复制数据），但可以将其装载到alluxio（使其可见）。然后，您可以在任何云（ec2、gcp，甚至是另一个计算量更大的数据中心）中对alluxio运行spark、presto或任何分析工作负载。alluxio将数据拉入计算中，以恢复在计算和存储分离时完全丢失的数据位置。只有需要的数据才能被提取出来。对于读取量大的工作负载，相同的数据被多次读取，这种方法非常有效。这里有一个链接可以解释更多：https://www.alluxio.io/use-cases/hybrid-cloud-analytics/