根据文件,“apachespark是一个用于大规模数据处理的快速通用引擎。”“shark是一个针对hadoop数据的开源分布式sql查询引擎。”shark使用spark作为依赖项。我的问题是,spark只是将hiveql解析为spark作业,或者如果我们使用shark快速响应分析查询,它会有什么了不起的作用?
k4emjkb11#
是的,shark使用了与hive相同的思想,但是将hiveql转换为spark作业,而不是mapreduce作业。请阅读本文档第13-14页,了解这两种架构之间的差异。
1条答案
按热度按时间k4emjkb11#
是的,shark使用了与hive相同的思想,但是将hiveql转换为spark作业,而不是mapreduce作业。请阅读本文档第13-14页,了解这两种架构之间的差异。