avro map reduce-avroinputformat未找到错误

hgqdbh6s 于 2021-06-03 发布在 Hadoop

关注(0)|答案(1)|浏览(309)

这是我迄今为止从互联网上的各种渠道所了解到的。
avromapred和avro不是cdh4（cloudera发行版）的一部分，我必须使用hadoop\u classpath=avro手动设置它。jar:avro-mapred.jar
我已经这样做了，当我在伪集群上运行我的作业时，它抛出以下异常：
13/12/27 00:47:40 warn mapred.jobclient:使用GenericOptions分析参数。应用程序应该实现同样的工具。
13/12/27 00:47:40 info mapred.fileinputformat:要处理的总输入路径：1
13/12/27 00:47:41 info mapred.jobclient:正在运行作业：作业\u 2013121245 \u 0017
13/12/27 00:47:42 info mapred.jobclient:Map0%减少0%
13/12/27 00:47:57 info mapred.jobclient:任务id:尝试\u 2013121245 \u 0017 \u m\u0000000，状态：失败
java.lang.runtimeexception:java.lang.runtimeexception:java.lang.classnotfoundexception:找不到class org.apache.avro.mapred.avroinputformat
我的工作如下：
hadoop jar build/libs/hadoop-boilerplate-1.0.jar customermapreduce transactions/input transactions/output1-libjars/path/to/libs/avro-1.7.4.jar，/path/to/libs/avro-mapred-1.7.4.jar

hadoop mapreduce avro

来源：https://stackoverflow.com/questions/20785935/avro-map-reduce-avroinputformat-not-found-error

1条答案

按热度按时间

zyfwsgd61#

您应该实现工具并使用getconf（）进行作业配置。

public class SomeClass extends Configured implements Tool {
    @Override
    public int run(String[] args) throws Exception {
        Configuration conf = getConf();
        ...
    }
}

赞(0）回复(0）举报 2021-06-03

我来回答

avro map reduce-avroinputformat未找到错误

1条答案

相关问题

热门标签

最新问答