你得到的减速机的数量取决于你选择的数量或使用的基本公式（见下文）。你可以通过运行 SET default_parallel 20; 例如，将其设置为20。看到了吗http://pig.apache.org/docs/r0.8.1/piglatin_ref2.html#set pig.exec.reducers.max 只是一个上界。如果没有显式设置减速器的数量，则使用以下公式 MIN (pig.exec.reducers.max, total input size (in bytes) / bytes per reducer) 其中每个减速机的字节数由 pig.exec.reducers.bytes.per.reducer 默认为1gb。
1条答案
按热度按时间eyh26e7m1#
你得到的减速机的数量取决于你选择的数量或使用的基本公式（见下文）。你可以通过运行
SET default_parallel 20;例如，将其设置为20。看到了吗http://pig.apache.org/docs/r0.8.1/piglatin_ref2.html#setpig.exec.reducers.max只是一个上界。如果没有显式设置减速器的数量，则使用以下公式MIN (pig.exec.reducers.max, total input size (in bytes) / bytes per reducer)其中每个减速机的字节数由pig.exec.reducers.bytes.per.reducer默认为1gb。