正在寻找将第三方jar添加到mapreduce作业中的解决方案。目前，我们正在将第三方jar绑定到map reduce作业中。似乎有时mapreduce作业jar的大小会很高。有没有其他方法来克服这个问题
z9ju0rcb1#
用下面的句子。export hadoop\u classpath=$hadoop\u classpath:/path/to/my/jar1:/path/to/my/jar2然后可以像往常一样运行hadoop作业： hadoop jar [mainClass] . 有关更多详细信息，请查看。
hadoop jar [mainClass]
5m1hhzi42#
一般来说，沿着uberjar的路线走是一条好的路线，如果您对不同mapreduce作业依赖同一jar的不同版本，那么将jar添加到通用java类路径就成了问题。
sbtkgmzw3#
我相信“-libjars jar1，jar2，…”是你在这里需要的
3条答案
按热度按时间z9ju0rcb1#
用下面的句子。
export hadoop\u classpath=$hadoop\u classpath:/path/to/my/jar1:/path/to/my/jar2
然后可以像往常一样运行hadoop作业：
hadoop jar [mainClass]. 有关更多详细信息，请查看。5m1hhzi42#
一般来说，沿着uberjar的路线走是一条好的路线，如果您对不同mapreduce作业依赖同一jar的不同版本，那么将jar添加到通用java类路径就成了问题。
sbtkgmzw3#
我相信“-libjars jar1，jar2，…”是你在这里需要的