我用scala和spark来计算rdd(flatmap和countbyvalue)在一本书中的单词数,结果还可以,但是我需要计算与任务相关的执行时间和等待时间。
我希望知道这些是否可以通过编码来计算,因为我正在尝试比较任务调度算法。
我在scala中使用的代码:
object WordCount {
def main(args: Array[String]) {
Logger.getLogger("org").setLevel(Level.ERROR)
val sc = new SparkContext("local[*]", "WordCount")
val input = sc.textFile("../book.txt")
val words = input.flatMap(x => x.split(" "))
val wordCounts = words.countByValue()
wordCounts.foreach(println)
............ 谢谢
暂无答案!
目前还没有任何答案,快来回答吧!