spark scala如何执行

piwo6bdm  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(397)

我已经编写了以下代码,它返回一个“class not found”异常。我不确定要如何将csv文件中的数据加载到sparksql中。

import org.apache.spark.SparkContext

/**

 * Loading sales csv using DataFrame API

 */

object CsvDataInput {

  def main(args: Array[String]) {    

    val sc = new SparkContext(args(0), "Csv loading example")

    val sqlContext = new org.apache.spark.sql.SQLContext(sc)

    val df = sqlContext.load("com.databricks.spark.csv", Map("path" -> args(1),"header"->"true"))

    df.printSchema()

    df.registerTempTable("data")

    val aggDF = sqlContext.sql("select * from data")

    println(aggDF.collectAsList())

  } 
}
bqf10yzr

bqf10yzr1#

尝试替换此行

import org.apache.spark.SparkContext

用这个

import org.apache.spark.*

您只导入库的一部分,但使用的是来自此部分外部的类。另外,您的导入实际上拼写错误-应该是 org.apache.spark.sql.SQLContext ,并且您使用了其他一些与当前代码无关的包。

相关问题