我正在尝试插入到已存在的配置单元外部表中。我正在使用下面的代码插入数据
df.write.insertInto("db.tablename", overwrite=True)
上面的语句成功地创建了目录路径(如果不存在)并写入/覆盖数据。但是,这只适用于分区表。如果使用上述方法写入非分区表,它会抱怨路径不存在
org.apache.spark.sql.AnalysisException: Path does not exist: s3://path/to/external/table;
它对所有非分区表的行为都是相同的,并且期望路径存在,并且不会创建与分区表不同的路径。知道为什么非分区表会出现这种行为吗?是否有任何属性需要设置为配置单元/spark配置的一部分?
暂无答案!
目前还没有任何答案,快来回答吧!