有人能解释hdfs和网格计算之间的主要区别吗?
35g0bw711#
我认为在你的问题中,你必须用hadoop替换hdfs。hadoop是一个框架,它允许使用一个简单的编程模型——基于yarn的map reduce框架(另一个资源协商者)跨商品计算机集群对大型数据集进行分布式处理。hdfs是一个文件系统,用于存储具有流数据访问模式的非常大的文件,在商品硬件上运行集群。网格计算方法是基于将工作分布在一组机器上,这些机器访问由存储区域网络(san)承载的共享文件系统。这对于主要是计算密集型的作业非常有效,但是当节点需要访问更大的数据量时,这就成了一个问题。hdfs只是一个文件系统。因为您比较的是数据处理,所以必须将网格计算与hadoop map reduce(yarn)而不是hdfs进行比较。hadoop试图将数据与计算节点放在一起,因此数据访问速度很快,因为它是本地的。这个特性称为数据局部性,是hadoop中数据处理的核心,也是其良好性能的原因。您可以参考hadoop,即权威指南(第4版),以便更好地理解这些概念。
7tofc5zh2#
hadoop分布式文件系统(hdfs)是一种设计用于在商用硬件上运行的分布式文件系统。它与现有的分布式文件系统有许多相似之处。但是,与其他分布式文件系统的区别是显著的。hdfs具有高度的容错性,并且设计为部署在低成本硬件上。hdfs提供了对应用程序数据的高吞吐量访问,适用于具有大型数据集的应用程序。hdfs放宽了一些posix要求,以支持对文件系统数据的流式访问。但是。。。。网格计算是从多个地点收集计算机资源,以达到一个共同的目标。网格可以被认为是一个分布式系统,具有涉及大量文件的非交互工作负载。网格计算与传统的高性能计算系统(如集群计算)的区别在于,网格计算机的每个节点都被设置为执行不同的任务/应用程序。网格计算机也倾向于比集群计算机更加异构和地理上分散(因此没有物理耦合)。尽管单个网格可以专用于特定的应用程序,但通常网格用于各种用途。网格通常由通用的网格中间件软件库构建。我认为hdfs与网格计算无关。或者它被用于网格中的超级虚拟计算机
9bfwbjaz3#
横向扩展成熟的技术低成本被大巨人使用
3条答案
按热度按时间35g0bw711#
我认为在你的问题中,你必须用hadoop替换hdfs。
hadoop是一个框架,它允许使用一个简单的编程模型——基于yarn的map reduce框架(另一个资源协商者)跨商品计算机集群对大型数据集进行分布式处理。
hdfs是一个文件系统,用于存储具有流数据访问模式的非常大的文件,在商品硬件上运行集群。
网格计算方法是基于将工作分布在一组机器上,这些机器访问由存储区域网络(san)承载的共享文件系统。这对于主要是计算密集型的作业非常有效,但是当节点需要访问更大的数据量时,这就成了一个问题。
hdfs只是一个文件系统。因为您比较的是数据处理,所以必须将网格计算与hadoop map reduce(yarn)而不是hdfs进行比较。
hadoop试图将数据与计算节点放在一起,因此数据访问速度很快,因为它是本地的。这个特性称为数据局部性,是hadoop中数据处理的核心,也是其良好性能的原因。
您可以参考hadoop,即权威指南(第4版),以便更好地理解这些概念。
7tofc5zh2#
hadoop分布式文件系统(hdfs)是一种设计用于在商用硬件上运行的分布式文件系统。它与现有的分布式文件系统有许多相似之处。但是,与其他分布式文件系统的区别是显著的。hdfs具有高度的容错性,并且设计为部署在低成本硬件上。hdfs提供了对应用程序数据的高吞吐量访问,适用于具有大型数据集的应用程序。hdfs放宽了一些posix要求,以支持对文件系统数据的流式访问。
但是。。。。
网格计算是从多个地点收集计算机资源,以达到一个共同的目标。网格可以被认为是一个分布式系统,具有涉及大量文件的非交互工作负载。网格计算与传统的高性能计算系统(如集群计算)的区别在于,网格计算机的每个节点都被设置为执行不同的任务/应用程序。网格计算机也倾向于比集群计算机更加异构和地理上分散(因此没有物理耦合)。尽管单个网格可以专用于特定的应用程序,但通常网格用于各种用途。网格通常由通用的网格中间件软件库构建。
我认为hdfs与网格计算无关。或者它被用于网格中的超级虚拟计算机
9bfwbjaz3#
hadoop与其他分布式系统有何不同
横向扩展
成熟的技术
低成本
被大巨人使用