读取或写入Parquet格式数据时出错

uwopmtnx  于 2021-05-27  发布在  Spark
关注(0)|答案(1)|浏览(1010)

我已经创建了一个指向带有Parquet存储的azureadls的外部表,在将数据插入该表时,我得到了以下错误。我在用数据卡执行死刑

org.apache.spark.sql.AnalysisException: Multiple sources found for parquet (org.apache.spark.sql.execution.datasources.v2.parquet.ParquetDataSourceV2, org.apache.spark.sql.execution.datasources.parquet.ParquetFileFormat), please specify the fully qualified class name.;

这是完美的工作罚款昨天,我已经开始从今天这个错误。
我在网上找不到任何关于为什么会这样的答案。

tkclm6bt

tkclm6bt1#

这个问题已经被修复,错误的原因是,我们安装了由azure提供的spark sqldb连接器和uber jar,它还获得了wrt parquet文件格式化程序的依赖项。

相关问题