在哪里可以找到apache spark terasort源代码?

c7rzv4ha  于 2021-06-02  发布在  Hadoop
关注(0)|答案(0)|浏览(645)
import org.apache.spark.rdd._    
import org.apache.spark._
import org.apache.spark.SparkContext._

object ScalaTeraSort {

  def main(args: Array[String])
  {

    if (args.length < 2)
    {
      System.err.println(s"Usage: $ScalaTeraSort <INPUT_HDFS> <OUTPUT_HDFS>"
    )
    System.exit(1)
  }

  val sparkConf = new SparkConf().setAppName("ScalaTeraSort")
  val sc = new SparkContext(sparkConf)

  val file = sc.textFile(args(0))
  val data = file.map(line => (line.substring(0, 10), line.substring(10)))
                 .sortByKey().map{case(k, v) => k + v}
  data.saveAsTextFile(args(1))

  sc.stop()
}

我从stackoverflow post上尝试了这个代码,但是没有用

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题