spring-yarn@oncontainerstart-如何调用mapper?

ee7vknir  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(380)

我将spring-yarn包与spring-boot一起使用,并试图找出如何从@oncontainerstart事件启动Map程序。如何将参数传递给Map器?如何配置要使用的Map器/还原器?我试着按照这个指南去做
谢谢

x7yiwoj4

x7yiwoj41#

我相信您正在尝试创建一个简单的apachehadoopmapreduce应用程序,而springyarn并不是为了这个目的。
要使用spring开发mapreduce作业,您可以查看我们的参考文档,这些文档可以从spring for apachehadoop中找到
springyarn是一个开发应用程序的框架,可以运行在apachehadoopyarn之上,而不是mapreduce应用程序之上。这很容易被误解,因为hadoopyarn被广泛用作apachehadoopmapreducev2的同义词。新的mapreducev2实际上是一个运行在yarn上的简单的yarn应用程序,yarn是hadoop的新资源调度框架。
话虽如此,如果您想在yarn上运行与mapreduce作业完全不同的东西,那么spring yarn将是一个正确的候选对象。

相关问题