hive-filter-on-map数据类型列卡住

gorkyyrv  于 2021-06-26  发布在  Hive
关注(0)|答案(0)|浏览(229)

我们有一个表,在每日日期分区中有一年的数据。每天有1000亿行。该表有一个map数据类型列,其中包含100000+个键值对。我所需要的只是基于两个Map列过滤器的min(date)。yarn一直在为这个查询决定Map器的数量。我只在调用查询时看到下面的消息,它停留了30多分钟。然后我把工作干掉了。有没有办法优化和运行查询?
启动作业1(共1个)编译时确定的reduce任务数:1以更改reducer的平均负载(以字节为单位):设置hive.exec.reducers.bytes.per.reducer=以限制reducer的最大数目:设置hive.exec.reducers.max=以设置常量reducer:设置mapreduce.job.reduces=

Query:
select min(data_dt) from my_db.logs
where txttype = 'abcd'
and mapfields['page_name'] in ('a','b','c','d','e','d')
-- Total 50 page names
and mapfields['usedIn'] like '%Group%'
and (ctry like 'aa%' or ctry like 'bb%' or ctry like 'cc%')
;

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题