使用spark submit将数据加载到sql server时出现Parquet列问题

zpgglvta  于 2021-05-26  发布在  Spark
关注(0)|答案(0)|浏览(336)

在使用spark job将数据从配置单元迁移到sqlserver时,我遇到了以下问题,通过json文件给出了查询。

Caused by: org.apache.spark.sql.execution.QueryExecutionException: Parquet column cannot be converted in file.
Column: [abc], Expected: string, Found: INT32

据我所知,parquet文件包含的列结构与hive视图不同。我可以使用teradata等工具检索数据,而加载到不同的服务器会导致问题。
有人能帮我理解这个问题并给出解决方法吗?
编辑:spark版本2.4.4.2 scala版本2.11.12 hive 2.3.6 sql server 2016

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题