如何用hdfs共享用户id?

5t7ly7z5  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(235)

我想使用一个基于hadoop/hdfs的系统,但是我有点担心,因为我认为我希望在同一台物理机器上拥有一个用户的所有数据。在基于hadoop的宇宙中,有没有实现这一点的方法?

gmol1639

gmol16391#

在hdfs数据写入过程中,如果节点是datanode,则首先将datablock写入客户机访问集群的节点。
为了解决你的问题。边缘节点也将是数据节点。边缘节点是用户开始与集群交互的地方。
但是使用数据节点作为边缘节点有一些缺点。其中之一包括数据分发。数据分布将不均匀,如果节点发生故障,集群重新平衡将非常昂贵。

相关问题