假设我有100个文件，每个文件大小为100mb，块大小为64mb。1） 处理这100个文件需要多少个Map器。2） 我们知道，输入拆分大小的最大限制是块大小。所以在我们的例子中，它将是64MB。因此，如果一个Map程序开始处理一个文件的输入分割，即64mb，它将如何处理剩余的36mb。这个Map器是负责处理剩余的36mb还是将在其他Map器中处理？
ldfqzlk81#
因为你的块大小是64mb，所以总共会产生200个Map器。同一个文件将由两个Map器处理，因为它的输入拆分位于不同的位置，一个Map器将处理前64mb，另一个Map器将处理剩余的36mb
1条答案
按热度按时间ldfqzlk81#
因为你的块大小是64mb，所以总共会产生200个Map器。
同一个文件将由两个Map器处理，因为它的输入拆分位于不同的位置，一个Map器将处理前64mb，另一个Map器将处理剩余的36mb