在使用createOrReplaceTempView创建临时内存表时，内存临时表如何存储在节点中以及存储在何处？整个表是在每个工作节点还是主节点中创建的？或者数据是否在所有群集节点上进行分区和分布？最后，使用createOrReplaceTempView在内存中加载一个拥有1亿多条记录的巨大表是一个好主意吗？
createOrReplaceTempView
yacmzcpb1#
PySpark SQL视图是延迟评估的，这意味着它不会持久存储在内存中，除非您使用该高速缓存（）方法缓存数据集。来源：https://sparkbyexamples.com/pyspark/pyspark-createorreplacetempview/
1条答案
按热度按时间yacmzcpb1#
PySpark SQL视图是延迟评估的，这意味着它不会持久存储在内存中，除非您使用该高速缓存（）方法缓存数据集。
来源：https://sparkbyexamples.com/pyspark/pyspark-createorreplacetempview/