我已经创建了50gb数据的 Impala Parquet表。我正在运行一个包含5个表的连接、数据分组和排序的查询。
在查询结束时,服务器没有响应任何输出数据,除非impala抛出任何异常。
在cloudera管理器上,我可以看到一个节点在几分钟后运行状况不佳。
查询:
select
d_year, s_city, p_brand1,
sum(lo_revenue - lo_supplycost) as profit
from
lineorder_kylin_parqt_ext, dates_kylin_parqt_ext ,customer_kylin_parqt_ext, supplier_kylin_parqt_ext, part_kylin_parqt_ext
where
lo_custkey = c_custkey
and lo_suppkey = s_suppkey
and lo_partkey = p_partkey
and lo_orderdate = d_datekey
and c_region = 'AMERICA'
and s_nation = 'UNITED STATES'
and (d_year = 1997 or d_year = 1998)
and p_category = 'MFGR#14'
group by
d_year, s_city, p_brand1
order by
d_year, s_city, p_brand1;
1条答案
按热度按时间disho6za1#
我得到的答案是os在节点上杀死 Impala 恶魔,因为它正在吞噬记忆。我从内核日志和cloudera管理器以及执行查询的恶魔上确认了这一点。