spark sql dataframe.save with partitionby正在创建数组列

n3ipq98p  于 2021-06-28  发布在  Hive
关注(0)|答案(0)|浏览(212)

我正在尝试将sparksqlDataframe的数据保存到配置单元。要存储的数据应按Dataframe中的一列进行分区。为此,我编写了以下代码。

val conf = new SparkConf().setAppName("Hive partitioning")
conf.set("spark.scheduler.mode", "FAIR")
val sc = new SparkContext(conf)
val hiveContext = new HiveContext(sc)
hiveContext.setConf("hive.exec.dynamic.partition", "true")
hiveContext.setConf("hive.exec.dynamic.partition.mode", "nonstrict")

val df = hiveContext.sql("....   my sql query ....")

df.printSchema()
df.write.mode(SaveMode.Append).partitionBy("<partition column>").saveAsTable("orgs_partitioned")

Dataframe被存储为表,其中有一列称为 col 和类型 array<string> ,结构如下图所示(色调截图)。

任何提示都非常有用。谢谢。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题