我试图优化spark应用程序。 predicate 下推对此非常重要。但我发现它在任何map或mapPartition操作后都不起作用。有人知道如何使spark sql predicate 在map或mapPartition操作后下推工作吗？
9jyewag01#
PredicatePushdown用于数据跳过--它通过消除不包含搜索值的文件来帮助减少扫描文件的数量。此机制仅在底层数据扫描期间应用，并且不适用于计算列或生成的行。
1条答案
按热度按时间9jyewag01#
PredicatePushdown用于数据跳过--它通过消除不包含搜索值的文件来帮助减少扫描文件的数量。
此机制仅在底层数据扫描期间应用，并且不适用于计算列或生成的行。