我希望在jvm中运行mapreduce以使用多个内核，并使用hadoop mapreduce属性对map任务输出进行外部排序，这有助于我在有限（恒定）内存消耗中执行有状态处理。我正在寻找一种编程方式，可以复制到任何地方只要运行一个jar，所以要么嵌入式服务器（s）或只是一个简单的单一jvm版本的hadoop mapreduce，所以没有什么需要安装在计算机上。 Docker 也不是一个选择。谢谢
d7v8vwbk1#
我建议你用spark或flink代替。你很难再看到有人在写普通的mapreduce了在spark中，您可以使用 local[*] 作为“主”，它将使用所有可用的核心
local[*]
1条答案
按热度按时间d7v8vwbk1#
我建议你用spark或flink代替。你很难再看到有人在写普通的mapreduce了
在spark中，您可以使用
local[*]作为“主”，它将使用所有可用的核心