优化配置单元查询:apache配置单元

wnvonmuf  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(257)

以下配置单元查询查找单个列上的超前和滞后。查询产生1个Map器和50个缩减器。如何优化查询以生成更少的数据。
表说明

col_name        data_type       comment

# col_name              data_type               comment

a                       int

故事中的数据

select * from foo;
OK

 foo.a 1 2 3 4 5 6 3 4 6 78 9 7 NULL
select lag(a,1) over (order by a) as next,lead(a,1) over (order by a) as prev from foo;

query id=phodisvc\u 20170403015502\u de129135-eb19-4c4d-8161-c3f217a45928 total jobs=1启动job未指定reduce任务数量中的1个。默认为jobconf值:50以更改缩减器的平均负载(以字节为单位):set hive.exec.reducers.bytes.per.reducer=以限制缩减器的最大数量:set hive.exec.reducers.max=以设置常量缩减器:set mapreduce.job.reduces=kill command=/opt/mapr/hadoop/hadoop-2.7.0/bin/hadoopjob-kill job\u 1489146839620\u 136214 hadoop job-information for stage-1:Map程序数:1;减速器数量:50

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题