java在hadoop中还原后处理数据

c3frrgcw  于 2021-06-29  发布在  Hadoop
关注(0)|答案(1)|浏览(345)

我有一个文本文件:

A 1
A 4
A 2
B 8
B 1

我想计算 maxA(4) 以及 maxB(8) . 首先,在mapper中,我通过键将数据传递给reducer,在reducer中,我找到该键的最大值。但是,我如何计算他们的平均数减少后?

eoigrqb6

eoigrqb61#

如果Map器只输出键的最大值,则无法从reducer的输出中检索键的平均值。根本没有足够的信息。
在reducer的处理过程中获取平均值并将其与最大值一起输出(可能由一些分隔符分隔以便于解析),或者运行另一个map reduce作业来计算平均值。

相关问题