xml解析—如何将xml mahout分类器jar添加到hadoop集群中,因为我不想将该库添加到hadoop类路径中

weylhg0b  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(338)

我正在使用mahout exmaples jar中的xmlinputformat.class解析xml文件。但是在运行map reduce的jar文件时,我得到了下面的错误
错误:java.lang.runtimeexception:java.lang.classnotfoundexception:class org.apache.mahout.classifier.bayes.xmlinputformat未找到
请让我知道在多节点hadoop集群上运行时如何使这些jar可用。

q0qdq0h2

q0qdq0h21#

在hadoopjar的“-libjars”命令行选项中包含所有mahout示例jar。。。命令。jar将被放置在分布式缓存中,并可用于作业的所有任务尝试。更具体地说,您将在 ${mapred.local.dir}/taskTracker/archive/${user.name}/distcache/… subdirectories 在本地节点上。
请参阅此链接了解更多详细信息。

相关问题