java—使用newapihadoopfile和FixedLengthinInputFormat创建javardd

vwkv1x7d  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(258)

我正在尝试使用newapihadoop文件和fixedlengthinputformat创建一个spark javardd。这是我的密码,

Configuration config = new Configuration();
config.setInt(FixedLengthInputFormat.FIXED_RECORD_LENGTH, JPEG_INDEX_SIZE);
config.set("fs.hdfs.impl", DistributedFileSystem.class.getName());
String fileFilter = config.get("fs.defaultFS") + "/A/B/C/*.idx";
JavaPairRDD<LongWritable, BytesWritable> inputRDD = sparkContext.newAPIHadoopFile(fileFilter, FixedLengthInputFormat.class, LongWritable.class, BytesWritable.class, config);

在这一点上,我得到以下例外情况:

Error executing mapreduce job: com.fasterxml.jackson.databind.JsonMappingException: Infinite recursion (StackOverflowError)

知道我做错了什么吗?我是新来的。大卫

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题