java—将hadoop fs中的所有JAR添加到mapreduce类路径

cwtwac6a  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(364)

有没有什么方法可以接收目录路径并将所有jar文件添加到map reduce作业的类路径中?
我知道的是 DistributedCache.addFileToClassPath(file, conf) 但这似乎只适用于单个文件。在我的例子中,我将所有需要的jar文件放在一个dir中,并且我希望所有这些文件都放在mr作业的类路径中。
我也希望这是通过我的java程序来完成的,在这个程序中,我使用hadoopapi提交我的作业,而不是通过命令提示符提交。

nr9pn0ug

nr9pn0ug1#

您可以使用“-libjars”为hadoop提供所有库。您只需要在执行命令中添加它和库的位置

相关问题