scala—在spark databricks中将Dataframe保存为表时出错

zwghvu4y  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(279)

我在使用命令时出现以下错误 df.write.mode("overwrite").saveAsTable("testDB.someTable") 然而 df.write.mode("Overwrite").option("path", "abfss://..../testDB.db").saveAsTable("testDB.someTable") 作品。也就是说,如果ADL的路径通过了,它就可以正常工作。
我正在设置 spark.sql.warehouse.dir 在我的spark上下文中,在日志中我可以看到 hive.metastore.warehouse.dir 也正确地指向 spark.sql.warehouse.dir .
这里少了什么?
例外

org.apache.hadoop.hive.ql.metadata.HiveException: MetaException(message:
Please enter a valid location  )
    at org.apache.hadoop.hive.ql.metadata.Hive.createTable(Hive.java:862)...............
    Caused by: MetaException(message:
Please enter a valid location  )

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题