我想在intellij idea sbt项目中使用sparksql。即使我已经导入了库,代码似乎也没有导入它。Spark核心似乎是工作,但。
chy5wohz1#
以下是带有spark sql的spark 2.0样板文件的外观,仅供参考:
import org.apache.spark.sql.SparkSession object Test { def main(args: Array[String]) { val spark = SparkSession.builder() .master("local") .appName("some name") .getOrCreate() import spark.sqlContext.implicits._ } }
zyfwsgd62#
你不能创建一个 DataFrame 从scala List[A] . 你需要先创建一个 RDD[A] ,然后将其转换为 DataFrame . 你还需要一个 SQLContext :
DataFrame
List[A]
RDD[A]
SQLContext
val conf = new SparkConf() .setMaster("local[*]") .setAppName("test") val sc = new SparkContext(conf) val sqlContext = new SQLContext(sc) import sqlContext.implicits._ val test = sc.parallelize(List(1,2,3,4)).toDF
2条答案
按热度按时间chy5wohz1#
以下是带有spark sql的spark 2.0样板文件的外观,仅供参考:
zyfwsgd62#
你不能创建一个
DataFrame
从scalaList[A]
. 你需要先创建一个RDD[A]
,然后将其转换为DataFrame
. 你还需要一个SQLContext
: