我们的hbase集群拥有大量的网络通信量，而我们相信我们正在通过opentsdb向其写入数据。转发到opentsdb的字节数：以字节为单位的网络吞吐量（y轴是国际单位制，因此不是base2）：我们使用cloudera，所以块是128mb，将其更改为64mb会减少网络复制流量吗？还有其他后果需要考虑吗？
6kkfgxo01#
要清楚地回答降低块大小是否会减少复制流量的问题，答案是否定的。hdfs客户机不会一次写入整个数据块—它们以每次64k-128k字节的小校验和数据包（可配置）的形式对写入进行流式处理，在管道中的数据节点处构建整个数据块。降低块大小只会有一个效果：跨更多数据节点的更多块。它不会改变传输速率和总网络利用率，这完全由目标数据写入大小和复制因子决定，而不是由hdfs逻辑块大小属性决定。
1条答案
按热度按时间6kkfgxo01#
要清楚地回答降低块大小是否会减少复制流量的问题，答案是否定的。
hdfs客户机不会一次写入整个数据块—它们以每次64k-128k字节的小校验和数据包（可配置）的形式对写入进行流式处理，在管道中的数据节点处构建整个数据块。
降低块大小只会有一个效果：跨更多数据节点的更多块。它不会改变传输速率和总网络利用率，这完全由目标数据写入大小和复制因子决定，而不是由hdfs逻辑块大小属性决定。