我知道spark.catalog.clearcache（）用于显式清除缓存。但我想知道当我调用spark.close（）时，它是否会自动清除spark的缓存。期待回复，非常感谢您的帮助。
ogq8wdun1#
spark指向sparksession，这意味着当您执行spark.close（）时，您将关闭该会话。调用spark.close（）后，如果要执行任何转换或操作，则需要重新创建该sparksession，然后只有您可以工作。但是在spark.catalog.clearcache（）的情况下，if将只清除缓存表。长话短说：spark.catalog.clearcache（）：清除缓存表。close（）：关闭spark会话根据usecse的不同需要做不同的工作。
1条答案
按热度按时间ogq8wdun1#
spark指向sparksession，这意味着当您执行spark.close（）时，您将关闭该会话。调用spark.close（）后，如果要执行任何转换或操作，则需要重新创建该sparksession，然后只有您可以工作。
但是在spark.catalog.clearcache（）的情况下，if将只清除缓存表。
长话短说：spark.catalog.clearcache（）：清除缓存表。close（）：关闭spark会话根据usecse的不同需要做不同的工作。