hadoop数据节点在添加新节点后使用了太多的带宽

yebdmbv4  于 2021-05-29  发布在  Hadoop
关注(0)|答案(2)|浏览(375)

问题是:我在创建集群时有3个datanode,几天前我又添加了两个datanode。
完成后,我运行了平衡器,平衡器很快就完成了,并说集群是平衡的。
但我发现,一旦我将数据(约30mb)放入集群,datanodes就会使用大量带宽(约400mbps)在旧datanodes和新datanodes之间发送和接收数据。
有人能告诉我可能的原因吗?
可能我描述的问题不是很清楚,我会给你看两张图片(来自zabbix),hadoop-02是“旧datanode”之一,hadoop-07是“新datanode”之一。

cx6n0qe3

cx6n0qe31#

坚持住!!您的意思是在数据传输过程中带宽被过度利用,或者在放置数据后dns没有平衡,因为balancer用于平衡群集中节点上的数据量。

rbpvctlc

rbpvctlc2#

如果你指的是网络流量。hdfs使用写管道。假设复制因子为3,则数据流为
客户端-->数据节点\u 1-->数据节点\u 2-->数据节点\u 3
如果数据大小为30mb,则总流量为90mb,外加一点开销(用于创建连接、数据包头、数据包中的数据校验和)
如果你指的是交通流量。我相信目前hdfs在client<-->dn和dn<-->dn之间没有带宽限制。它将使用尽可能多的带宽。
如果您注意到旧数据节点和新数据节点之间有更多的数据流。当某些块以前复制不足时,可能会发生这种情况。添加新节点后,namenode会定期安排从旧dns到其他dns(不一定是新的dns)的复制任务。

相关问题