hive-map-only作业/阶段创建多个零字节文件

arknldoa  于 2021-06-02  发布在  Hadoop
关注(0)|答案(0)|浏览(159)

我有一个配置单元查询,它有多个连接,因此有多个阶段。在某些场景中执行查询时,不会有任何输出。在这些场景中,作业在中间阶段完成,其中Map器的数量为n,还原器的数量为0(无还原器),这将创建n个零字节文件
尝试提供以下设置

set hive.merge.mapfiles=true 
set hive.merge.mapredfiles=true 
set hive.merge.smallfiles.avgfilesize=128000000
set hive.merge.size.per.task=256000000

如果输出中有一些记录,我们将根据设置获得预期的输出
基本上,当只有map作业/阶段没有记录输出时,就会发生这种情况。
如果将no of reducer的config设置为1(查询的所有阶段都使用单个reducer),或者将compress输出设置为true,那么我将得到0字节的输出作为单个文件。仍然会有一个0字节的文件
如有解决办法,将不胜感激。提前谢谢

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题