我正在处理“distcp”命令，以便将几个关键文件从cluster1移到cluster2。以前，这些关键文件的块大小为64mb。现在转移到cluster2（它有128mb的块大小）。在distcp移动之后，关键文件的性能将如何随着cluster2中的新块大小而提高..性能增加或降低。。？？？
lh80um4z1#
这取决于你的档案。hadoop文件应该是按顺序读取的，如果文件很大（比如说gbs或tbs），那么如果增加块大小，就会提高性能，因为这样会减少要执行的任务数。使用distcp进行复制不会维护文件的块属性，因为块配置因集群而异。
1条答案
按热度按时间lh80um4z1#
这取决于你的档案。hadoop文件应该是按顺序读取的，如果文件很大（比如说gbs或tbs），那么如果增加块大小，就会提高性能，因为这样会减少要执行的任务数。使用distcp进行复制不会维护文件的块属性，因为块配置因集群而异。