我想用hadoop控制map和reduce之间的中间结果。我想指定在Map后将这些结果复制到何处。我想选择的数据将减少。总之，我想在进程洗牌和排序之前得到map的结果，然后做我想做的事情。如果你有解决办法，请告诉我。谢谢
cwtwac6a1#
您可以在特定Map程序获得inputsplit后处理数据。将逻辑指定为 map 功能。我想指定在Map后将这些结果复制到何处使用 Context java类和 FileSystem 刷新fs上的结果（本地、hdfs、ftp…）我想选择的数据将减少我想要Map的结果之前，进程洗牌和排序，并做我想要的在您的计算机上指定逻辑 map 中的函数 Mapper 班
map
Context
FileSystem
Mapper
1条答案
按热度按时间cwtwac6a1#
您可以在特定Map程序获得inputsplit后处理数据。将逻辑指定为
map功能。我想指定在Map后将这些结果复制到何处
使用
Contextjava类和FileSystem刷新fs上的结果（本地、hdfs、ftp…）我想选择的数据将减少
我想要Map的结果之前，进程洗牌和排序，并做我想要的
在您的计算机上指定逻辑
map中的函数Mapper班