无法从具有自定义inputformat的配置单元表中进行选择

mbzjlibv  于 2021-06-02  发布在  Hadoop
关注(0)|答案(0)|浏览(209)

我们开发了自定义输入格式来处理edi文件。在最近升级到5.8之后,select*from table不返回任何行。
配置单元脚本:


* create external table CustomInputTest

(
  all_cols String
)
STORED AS INPUTFORMAT 'parser.mapred.X12InputFormat'
OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION '/user/data/EDI'
TBLPROPERTIES ('edi.schema.hdfs.path' = '/user/data/layout/edi.xsl');*

* set hive.input.format=org.apache.hadoop.hive.ql.io.HiveInputFormat;

 select * from CustomInputTest;*

相同的脚本在hive1.1.0-cdh5.4.9上返回预期的输出。
在cdh5.8上,如果禁用了hive fetch任务以强制查询生成mapreduce,那么select查询工作正常。


* set hive.fetch.task.conversion=none*;

我检查了配置单元服务器日志,没有发现任何错误。
如何解决这个问题,使hive fetch任务在新版本[5.8]中工作

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题