我正在尝试将sparksqlDataframe的数据保存到配置单元。要存储的数据应按Dataframe中的一列进行分区。为此,我编写了以下代码。
val conf = new SparkConf().setAppName("Hive partitioning")
conf.set("spark.scheduler.mode", "FAIR")
val sc = new SparkContext(conf)
val hiveContext = new HiveContext(sc)
hiveContext.setConf("hive.exec.dynamic.partition", "true")
hiveContext.setConf("hive.exec.dynamic.partition.mode", "nonstrict")
val df = hiveContext.sql(".... my sql query ....")
df.printSchema()
df.write.mode(SaveMode.Append).partitionBy("<partition column>").saveAsTable("orgs_partitioned")
Dataframe被存储为表,其中有一列称为 col
和类型 array<string>
,结构如下图所示(色调截图)。
任何提示都非常有用。谢谢。
暂无答案!
目前还没有任何答案,快来回答吧!