我有一个基于mapreduce1的大型java项目,我想把它迁移到yarn。这里有人知道怎么做的好指南吗?谢谢。
7xllpg7q1#
我在升级hadoop集群和应用程序。我们遵循的过程是:我们从所需的hadoop发行版构建了一个支持yarn的小集群。我们在新集群中测试了map/reduce程序、pig程序hive脚本、sqoop脚本等整个代码,并对代码进行了必要的修改。一般来说,没有太多的代码方面的变化。只需要验证支持的函数、方法等。验证了旧输出的输出,如果输出与旧输出匹配,则代码可以继续运行。如果存在不匹配,则需要修复代码。升级了hadoop集群。已在升级的群集上部署代码。注意:不能仅用yarn替换mapreduce版本1。你还需要升级pig,hive,sqoop等。我建议pic上你需要的hdp堆栈,然后升级你的集群。所有支持的工具、实用工具和软件都应升级到支持的hadoop版本。
1条答案
按热度按时间7xllpg7q1#
我在升级hadoop集群和应用程序。我们遵循的过程是:
我们从所需的hadoop发行版构建了一个支持yarn的小集群。
我们在新集群中测试了map/reduce程序、pig程序hive脚本、sqoop脚本等整个代码,并对代码进行了必要的修改。一般来说,没有太多的代码方面的变化。只需要验证支持的函数、方法等。
验证了旧输出的输出,如果输出与旧输出匹配,则代码可以继续运行。如果存在不匹配,则需要修复代码。
升级了hadoop集群。
已在升级的群集上部署代码。
注意:不能仅用yarn替换mapreduce版本1。你还需要升级pig,hive,sqoop等。我建议pic上你需要的hdp堆栈,然后升级你的集群。所有支持的工具、实用工具和软件都应升级到支持的hadoop版本。