我有hadoop map reduce作业,它使用kitsdk datasetkeyinputformat。它被配置为读取Parquet文件。
每次运行作业时,都会出现以下异常:
错误:java.io.datainputstream.readfully(datainputstream)处的java.io.eofexception。java:197)在java.io.datainputstream.readfully(datainputstream。java:169)在parquet.hadoop.parquetinputsplit.readarray(parquetinputsplit。java:304)在parquet.hadoop.parquetinputsplit.readfields(parquetinputsplit。java:263)在org.apache.hadoop.io.serializer.writableserialization$writabledeserializer.deserialize(可写序列化)。java:71)位于org.apache.hadoop.io.serializer.writeableserialization$writeabledeserializer.deserialize(writeableserialization)。java:42)在org.apache.hadoop.mapred.maptask.getsplitdetails(maptask。java:372)在org.apache.hadoop.mapred.maptask.runnewmapper(maptask。java:754)在org.apache.hadoop.mapred.maptask.run(maptask。java:341)在org.apache.hadoop.mapred.yarnchild$2.run(yarnchild。java:163)位于javax.security.auth.subject.doas(subject)的java.security.accesscontroller.doprivileged(本机方法)。java:415)在org.apache.hadoop.security.usergroupinformation.doas(用户组信息。java:1671)在org.apache.hadoop.mapred.yarnchild.main(yarnchild。java:158)
配置单元创建的map reduce作业可以成功读取相同的文件。i、 我可以成功地查询它。
为了隔离可能的问题,我基于mapreduce的kitesdk示例创建了mapreduce作业。但我还是得到了同样的例外。
注意:avro和csv格式工作良好。
暂无答案!
目前还没有任何答案,快来回答吧!