执行以下代码后:
def ngram(s: String, inSep: String, outSep: String, n:Int): Set[String] = {
s.toLowerCase.split(inSep).sliding(n).map(_.sorted.mkString(outSep)).toSet
}
val fPath = "/user/root/data/data220K.txt"
val resultPath = "data/result220K"
val lines = sc.textFile(fPath) // lines: Array[String]
val ngramNo = 2
val result = lines.flatMap(line => ngram(line, " ", "+", ngramNo)).map(word => (word, 1)).reduceByKey((a, b) => a+b)
val sortedResult = result.map(pair => pair.swap).sortByKey(true)
sortedResult.count + "============================")
sortedResult.take(10)
sortedResult.saveAsTextFile(resultPath)
我用这个模式在hdfs中得到了大量的文件:(freq\u occurrences,fielda,fieldb)
是否可以加入该目录中的所有文件?每一行都是不同的,但我只希望有一个文件按频率排序。有可能吗?
非常感谢!
1条答案
按热度按时间khbbv19g1#