import scala.concurrent._
import scala.concurrent.duration._
val rdds = Seq(accessLogs, accessLists)
val dirs = Seq("outputDirectory1", "outputDirectory2")
import ExecutionContext.Implicits.global
val future = Future.sequence(
for ((rdd, dir) <- rdds zip dirs) yield Future(rdd.saveAsTextFile(dir))
)
//Await.ready(future, Duration.Inf) //to wait for rdds to be saved...
2条答案
按热度按时间aiazj4mn1#
您可以将它们保存在线程中。
vi4fp9gy2#
请注意,尽管名称不同,方法
sequence
上Future
上面使用的伴随对象将执行Futures
由平行的而不是顺序的理解而产生的。这个sequence
方法本质上是一个应用函子sequence
.