假设我有200个输入文件和20个节点，每个节点有10个Map器槽。hadoop是否总是平均分配工作，这样每个节点将获得10个输入文件并同时启动10个Map器？有没有办法强迫这种行为？
mwg9r5ms1#
使用了多少Map器取决于输入——特别是输入拆分。所以在你的例子中，200个文件可以被输入到200个Map器中。但真正的答案要复杂一点。这取决于文件大小：如果文件大于块大小，则块大小的块将发送到Map器文件是可拆分的。例如gzip压缩文件不能被分割。一个完整的文件将被一个Map器（即使文件大小大于块大小）
1条答案
按热度按时间mwg9r5ms1#
使用了多少Map器取决于输入——特别是输入拆分。所以在你的例子中，200个文件可以被输入到200个Map器中。但真正的答案要复杂一点。这取决于
文件大小：如果文件大于块大小，则块大小的块将发送到Map器
文件是可拆分的。例如gzip压缩文件不能被分割。一个完整的文件将被一个Map器（即使文件大小大于块大小）