我指的是以下链接：对spark的hive支持上面写着：“spark sql支持与hive不同的用例。”我不知道为什么会这样。这是否意味着作为一个配置单元用户，我不能通过sparksql使用spark执行引擎？一些问题：sparksql使用配置单元查询解析器。因此，它将理想地支持所有的Hive功能。它会使用Hive元存储吗？hive将使用spark优化器还是构建自己的优化器？hive会把乔布斯先生变成spark吗？或者使用其他模式？
ftf50wuq1#
sparksql旨在允许在spark的机器学习库之上使用sql表达式。它允许您使用sql作为构建高级分析（如ml）应用程序的工具。它不是hive的替代品，hive在批处理/etl方面确实是最好的。不过，也有工作正在进行上游，以使Spark作为一个通用的数据处理后端的Hive。这项工作将允许您充分利用spark for hive用例。
1条答案
按热度按时间ftf50wuq1#
sparksql旨在允许在spark的机器学习库之上使用sql表达式。它允许您使用sql作为构建高级分析（如ml）应用程序的工具。它不是hive的替代品，hive在批处理/etl方面确实是最好的。
不过，也有工作正在进行上游，以使Spark作为一个通用的数据处理后端的Hive。这项工作将允许您充分利用spark for hive用例。