配置单元是创建mapreduce作业的一种更简单的方法,就像sql查询一样。所以,我想问,在相同数据的情况下,hive是否比generalmapreduce在相同的任务上更快?如果Hive更快,为什么我们仍然使用通用MapReduce?坦斯克所有
ajsxfq5m1#
当我们处理配置单元时,我们可以在配置单元中进行简单的查询,而不是编写map reduce的整个代码,将配置单元查询转换成map reduce程序,然后该程序将在hdfs上执行。。。。。。。如果你擅长编程,那么你可以使用自己的map reduce代码进行相同的查询。如果你的map reduce代码比hive(map reduce)代码更优化,那么你将在更短的时间内得到结果。。
pu3pd22g2#
首先,hive在后台使用map reduce来处理任何查询。所以,无论你用Hive做什么,你都可以通过写一个map reduce作业来实现。但是hive将使用优化的map reduce执行计划。说过,选择Hive而不是Map缩小的重要原因是简单。一个人不需要知道如何写一个map reduce作业来完成一些事情。只有sql语句可以。也就是说,如果您使用hive,您将受到hive可以支持的某些规则的约束。但是map reduce作业将非常灵活您可以用任何方式编写map reduce作业来处理数据。
2条答案
按热度按时间ajsxfq5m1#
当我们处理配置单元时,我们可以在配置单元中进行简单的查询,而不是编写map reduce的整个代码,将配置单元查询转换成map reduce程序,然后该程序将在hdfs上执行。。。。。。。
如果你擅长编程,那么你可以使用自己的map reduce代码进行相同的查询。如果你的map reduce代码比hive(map reduce)代码更优化,那么你将在更短的时间内得到结果。。
pu3pd22g2#
首先,hive在后台使用map reduce来处理任何查询。所以,无论你用Hive做什么,你都可以通过写一个map reduce作业来实现。但是hive将使用优化的map reduce执行计划。
说过,选择Hive而不是Map缩小的重要原因是简单。一个人不需要知道如何写一个map reduce作业来完成一些事情。只有sql语句可以。
也就是说,如果您使用hive,您将受到hive可以支持的某些规则的约束。但是map reduce作业将非常灵活您可以用任何方式编写map reduce作业来处理数据。