在配置单元表中插入sparkDataframe

zzlelutf  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(194)

我有一个配置单元表,存储为orc,它与我用spark作业创建的Dataframe具有相同的模式。如果我将数据框保存为css、json、文本,那么它就可以正常工作了。我可以手动将这些文件迁移到配置单元表中。
但当我试着直接插入Hive时

df.insertInto("table_name", true)

我在yarn ui中发现以下错误:

ERROR ApplicationMaster: User class threw exception: org.apache.spark.sql.AnalysisException: cannot resolve 'cast(last_name_2 as array<double>)' due to data type mismatch: cannot cast StringType to ArrayType(DoubleType,true);

我还尝试在调用insert之前注册临时表,并使用:

df.write.mode(SaveMode.Append).saveAsTable("default.table_name")

我做错什么了?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题