我们开发了自定义输入格式来处理edi文件。在最近升级到5.8之后,select*from table不返回任何行。
配置单元脚本:
* create external table CustomInputTest
(
all_cols String
)
STORED AS INPUTFORMAT 'parser.mapred.X12InputFormat'
OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION '/user/data/EDI'
TBLPROPERTIES ('edi.schema.hdfs.path' = '/user/data/layout/edi.xsl');*
* set hive.input.format=org.apache.hadoop.hive.ql.io.HiveInputFormat;
select * from CustomInputTest;*
相同的脚本在hive1.1.0-cdh5.4.9上返回预期的输出。
在cdh5.8上,如果禁用了hive fetch任务以强制查询生成mapreduce,那么select查询工作正常。
* set hive.fetch.task.conversion=none*;
我检查了配置单元服务器日志,没有发现任何错误。
如何解决这个问题,使hive fetch任务在新版本[5.8]中工作
暂无答案!
目前还没有任何答案,快来回答吧!