如何在spark 3.0中解决以下问题?无法创建托管表关联位置已存在;

2guxujil  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(864)

在spark的工作中,我试图覆盖结构化流媒体的每个微批中的一个表

batchDF.write.mode(SaveMode.Overwrite).saveAsTable("mytable")

它产生了以下错误。

Can not create the managed table('`mytable`'). The associated location('file:/home/ec2-user/environment/spark/spark-local/spark-warehouse/mytable') already exists.;

我知道在spark2.xx中,解决这个问题的方法是添加以下选项。

spark.conf.set("spark.sql.legacy.allowCreatingManagedTableUsingNonemptyLocation","true")

它在spark 2.xx中运行良好。但是,spark 3.0.0中删除了此选项。那么,我们应该如何在spark 3.0.0中解决这个问题呢?
谢谢!

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题