我不清楚catalyst optimizer和project tungsten的角色。我的理解是CatalystOptimizer将从逻辑计划生成优化的物理计划。优化后的物理计划将由代码生成器生成rdd。代码生成器是projectwonder还是catalystoptimizer的一部分？代码生成器也被称为“全阶段代码生成器”吗？
a14dhokn1#
从databricks或其他在线资源中查看glossar可以澄清您的疑问：
“tungsten是伞形项目的代号，该项目将对apache spark的执行引擎进行更改，重点是大幅提高spark应用程序的内存和cpu效率，使性能更接近现代硬件的极限。”
catalyst优化器接收您的代码并将其转换为执行计划，最终为jvm生成紧凑的代码。它经历了四个转型阶段，如下图所示：注意，“代码生成”阶段是catalyst优化器的第四阶段。更多细节见下一节。
“whole-stage codegen也称为whole-stage java代码生成，这是spakr sql中的一个物理查询优化阶段，它将多个物理操作合并在一起，形成一个java函数。”
1条答案
按热度按时间a14dhokn1#
从databricks或其他在线资源中查看glossar可以澄清您的疑问：
钨
“tungsten是伞形项目的代号，该项目将对apache spark的执行引擎进行更改，重点是大幅提高spark应用程序的内存和cpu效率，使性能更接近现代硬件的极限。”
催化剂优化器
catalyst优化器接收您的代码并将其转换为执行计划，最终为jvm生成紧凑的代码。它经历了四个转型阶段，如下图所示：
注意，“代码生成”阶段是catalyst优化器的第四阶段。更多细节见下一节。
批发代码生成器
“whole-stage codegen也称为whole-stage java代码生成，这是spakr sql中的一个物理查询优化阶段，它将多个物理操作合并在一起，形成一个java函数。”