我需要计算执行时间、成本、makespan、等待等

cotxawn7  于 2021-05-29  发布在  Spark
关注(0)|答案(0)|浏览(392)

我用scala和spark来计算rdd(flatmap和countbyvalue)在一本书中的单词数,结果还可以,但是我需要计算与任务相关的执行时间和等待时间。
我希望知道这些是否可以通过编码来计算,因为我正在尝试比较任务调度算法。
我在scala中使用的代码:

object WordCount {

  def main(args: Array[String]) {

    Logger.getLogger("org").setLevel(Level.ERROR)

    val sc = new SparkContext("local[*]", "WordCount")   

    val input = sc.textFile("../book.txt")

    val words = input.flatMap(x => x.split(" "))

    val wordCounts = words.countByValue()

    wordCounts.foreach(println)

............ 谢谢

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题