我试图通过spark使用sparkyr将rDataframe附加到已经创建的配置单元表(带有分区列)。为了做到这一点,我首先把rDataframe变成了SparkDataframe使用 copy_to()
然后我用 spark_write_table()
与 mode=append
但出现了一个错误: org.apache.spark.SparkException: Dynamic partition strict mode requires at least one static partition column. To turn this off set hive.exec.dynamic.partition.mode=nonstrict
在我使用这个函数示例化连接器之前,我已经尝试在spark\u config()中设置这个选项
conf <- spark_config()
conf$spark.sql.hive.exec.dynamic.partition <- TRUE
conf$spark.sql.hive.exec.dynamic.partition.mode <- 'nonstrict'
但它也不起作用,我得到同样的错误。如果我查一下 hive_context_config(sc)
选项似乎设置正确。
一旦连接器已经被示例化(比如pyspark),有没有什么方法可以直接设置配置单元上下文,或者如何解决这个问题?
暂无答案!
目前还没有任何答案,快来回答吧!