我正在amazonweb服务上运行一个mapreduce程序（实际上是一个相当复杂的wordcount算法）。我生成了一个.jar在aws节点上运行。我现在要做的是将所有mapreduce库jar合并到我的.jar文件中。一切正常，但我想这不是一个很好的做法（他们做了一些更新的机器图像，我得到奇怪的异常，可能与此有关）。有人能告诉我如何自动链接到安装在amazon上的hadoop版本，这样我就可以不用在jar中添加外部库了吗？
非常感谢你的帮助！
我正在amazonweb服务上运行一个mapreduce程序（实际上是一个相当复杂的wordcount算法）。我生成了一个.jar在aws节点上运行。我现在要做的是将所有mapreduce库jar合并到我的.jar文件中。一切正常，但我想这不是一个很好的做法（他们做了一些更新的机器图像，我得到奇怪的异常，可能与此有关）。有人能告诉我如何自动链接到安装在amazon上的hadoop版本，这样我就可以不用在jar中添加外部库了吗？
非常感谢你的帮助！
1条答案
按热度按时间5gfr0r5j1#
所以你用的是亚马逊弹性MapReduce！？有不同的ami版本和不同的hadoop版本，请参阅http://docs.aws.amazon.com/elasticmapreduce/latest/developerguide/emr-plan-ami.html#emr-默认版本。
hadoopjar本身+it第三方依赖项（比如commons io）已经在作业的类路径中。所以你是对的，如果你把hadoopjar和其他版本绑定到你的jobjar中，可能会出现问题。所以我想说您可以：-确定您正在引导哪个hadoop版本（基于ami版本）-确定hadoop版本中使用的库（检查正在运行的ec2示例或从apache网站下载hadoop版本）-再次编译正确的hadoop程序并排除所有hadoop和hadoop-3rd party当你把肥jar捆起来的时候