我正在使用区块链技术,我发现它可以将文件保存在多个不同的服务器上。现在根据hadoop文档,它还可以将文件存储在多个服务器上,并在一个主节点上保留一个主副本。它还有一个Zookeeper,负责维护主节点和所有辅助节点之间的数据。现在我的问题是有没有区块链的zookeeper在维护主副本,或者我的理解有误?
0wi1tuuw1#
这些是完全不同的动物。大多数区块链完整节点完全独立运行,并花费时间验证交易。事实上,比特币协议或以太坊中的每个完整节点都有整个链的完整副本——也就是说,自块0以来发生的所有事务。它们在一致的基础上进行操作和验证,因此它是真正的无头集群,而不是分布式集群。hdfs在一个节点上(通常)被组织成“只是一堆磁盘”(jbod),这意味着它们甚至不需要使用raid。复制是跨节点完成的,但不是完全复制,这意味着中型或大型群集中可能有5个文件副本,并且磁盘故障可能(随着群集的大小而增加)导致实际数据丢失。hdfs具有很大的扩展性,但具有固有的风险,需要备份策略。另一方面,区块链要紧凑得多,但由于分类账有数千或数百万份完整的副本,每一份都不可能在事后修改,因此几乎不可能丢失数据。
dsf9zpds2#
区块链是基于ipfs的,不同于hdfs。ipfs是分散式文件系统,而hdfs是分布式文件系统。在hdfs中,复制因子是恒定的,但在ipfs中,您感兴趣的对等方可以复制数据。一篇有趣的论文,其中描述了在hdfs链接之上使用ipfs如何提高hadoop作业的性能-https://www.cse.unsw.edu.au/~hpaik/thesis/showcases/16s2/scott_brisbane.pdf
2条答案
按热度按时间0wi1tuuw1#
这些是完全不同的动物。大多数区块链完整节点完全独立运行,并花费时间验证交易。事实上,比特币协议或以太坊中的每个完整节点都有整个链的完整副本——也就是说,自块0以来发生的所有事务。它们在一致的基础上进行操作和验证,因此它是真正的无头集群,而不是分布式集群。
hdfs在一个节点上(通常)被组织成“只是一堆磁盘”(jbod),这意味着它们甚至不需要使用raid。复制是跨节点完成的,但不是完全复制,这意味着中型或大型群集中可能有5个文件副本,并且磁盘故障可能(随着群集的大小而增加)导致实际数据丢失。
hdfs具有很大的扩展性,但具有固有的风险,需要备份策略。另一方面,区块链要紧凑得多,但由于分类账有数千或数百万份完整的副本,每一份都不可能在事后修改,因此几乎不可能丢失数据。
dsf9zpds2#
区块链是基于ipfs的,不同于hdfs。ipfs是分散式文件系统,而hdfs是分布式文件系统。在hdfs中,复制因子是恒定的,但在ipfs中,您感兴趣的对等方可以复制数据。
一篇有趣的论文,其中描述了在hdfs链接之上使用ipfs如何提高hadoop作业的性能-https://www.cse.unsw.edu.au/~hpaik/thesis/showcases/16s2/scott_brisbane.pdf