使用intellij idea导入spark库

afdcj2ne  于 2021-05-27  发布在  Spark
关注(0)|答案(2)|浏览(495)

我想在intellij idea sbt项目中使用sparksql。
即使我已经导入了库,代码似乎也没有导入它。
Spark核心似乎是工作,但。

chy5wohz

chy5wohz1#

以下是带有spark sql的spark 2.0样板文件的外观,仅供参考:

import org.apache.spark.sql.SparkSession

 object Test {    
 def main(args: Array[String]) {

    val spark = SparkSession.builder()
      .master("local")
      .appName("some name")
      .getOrCreate()

    import spark.sqlContext.implicits._

    }
}
zyfwsgd6

zyfwsgd62#

你不能创建一个 DataFrame 从scala List[A] . 你需要先创建一个 RDD[A] ,然后将其转换为 DataFrame . 你还需要一个 SQLContext :

val conf = new SparkConf()
  .setMaster("local[*]")
  .setAppName("test")

val sc = new SparkContext(conf)
val sqlContext = new SQLContext(sc)

import sqlContext.implicits._

val test = sc.parallelize(List(1,2,3,4)).toDF

相关问题