我正在使用java,我的spark代码/功能是跨多个方法编写的。通常我会在一个特定的方法中持久化dataframe,而不能在同一个方法中取消持久化,因为我想等到依赖dataframe上的操作被执行。那么,我如何在以后的某个时间点用其他方法解除缓存数据的持久性呢?我将无法访问最初用于调用persist的变量。下面的代码可以解释。
Dataset<Row> Method1 {
dfm1 = ... ;
dfm1.persist();
dfm12 = dfm1.filter();
dfm13 = dfm1.filter();
dfm13.save (to dataset);
return dfm12;
}
Method2 (DF Dataset<Row>) {
dfm21 = DF.join(lookup table....);
dfm21.save(to a dataset);
}
Main(){
....
Dataset<Row> DF = Method1();
...
...
Method2(DF);
}
暂无答案!
目前还没有任何答案,快来回答吧!