在使用spark job将数据从配置单元迁移到sqlserver时,我遇到了以下问题,通过json文件给出了查询。
Caused by: org.apache.spark.sql.execution.QueryExecutionException: Parquet column cannot be converted in file.
Column: [abc], Expected: string, Found: INT32
据我所知,parquet文件包含的列结构与hive视图不同。我可以使用teradata等工具检索数据,而加载到不同的服务器会导致问题。
有人能帮我理解这个问题并给出解决方法吗?
编辑:spark版本2.4.4.2 scala版本2.11.12 hive 2.3.6 sql server 2016
暂无答案!
目前还没有任何答案,快来回答吧!