pyspark-inserinto-hive非分割Parquet地板表未按预期工作

pw9qyyiw  于 2021-05-19  发布在  Spark
关注(0)|答案(0)|浏览(237)

我正在尝试插入到已存在的配置单元外部表中。我正在使用下面的代码插入数据

df.write.insertInto("db.tablename", overwrite=True)

上面的语句成功地创建了目录路径(如果不存在)并写入/覆盖数据。但是,这只适用于分区表。如果使用上述方法写入非分区表,它会抱怨路径不存在

org.apache.spark.sql.AnalysisException: Path does not exist: s3://path/to/external/table;

它对所有非分区表的行为都是相同的,并且期望路径存在,并且不会创建与分区表不同的路径。知道为什么非分区表会出现这种行为吗?是否有任何属性需要设置为配置单元/spark配置的一部分?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题