有没有什么方法可以接收目录路径并将所有jar文件添加到map reduce作业的类路径中?我知道的是 DistributedCache.addFileToClassPath(file, conf) 但这似乎只适用于单个文件。在我的例子中,我将所有需要的jar文件放在一个dir中,并且我希望所有这些文件都放在mr作业的类路径中。我也希望这是通过我的java程序来完成的,在这个程序中,我使用hadoopapi提交我的作业,而不是通过命令提示符提交。
DistributedCache.addFileToClassPath(file, conf)
nr9pn0ug1#
您可以使用“-libjars”为hadoop提供所有库。您只需要在执行命令中添加它和库的位置
1条答案
按热度按时间nr9pn0ug1#
您可以使用“-libjars”为hadoop提供所有库。您只需要在执行命令中添加它和库的位置