当我们使用不能引用Dataframe时如何取消持久化

ldioqlga  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(224)

我正在使用java,我的spark代码/功能是跨多个方法编写的。通常我会在一个特定的方法中持久化dataframe,而不能在同一个方法中取消持久化,因为我想等到依赖dataframe上的操作被执行。那么,我如何在以后的某个时间点用其他方法解除缓存数据的持久性呢?我将无法访问最初用于调用persist的变量。下面的代码可以解释。

Dataset<Row> Method1 { 
   dfm1 = ... ;
   dfm1.persist();
   dfm12 = dfm1.filter();
   dfm13 = dfm1.filter();
   dfm13.save (to dataset);
   return dfm12;
}

Method2 (DF Dataset<Row>) {
   dfm21 = DF.join(lookup table....);
   dfm21.save(to a dataset);
}

Main(){
   ....
   Dataset<Row> DF = Method1();
   ...
   ...
   Method2(DF);

}

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题