Dataframe区分大小写,不插入配置单元表

4ioopgfo  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(490)

面对这样一个场景,dataframe区分大小写,在将这个dataframe插入配置单元表时,它会抛出错误作为列 E.g:daframe_test.columns[ABC, ] 我们可以在运行时动态处理列中的两个值而不抛出错误吗
通过设置 spark.set.conf("spark.sql.caseSensitive", "true") 但在添加此属性后将此Dataframe插入配置单元表时,会引发错误/异常,如内存开销和堆空间等问题。以及不希望此属性在实时项目中设置

zsohkypk

zsohkypk1#

配置单元不支持区分大小写的列名。您必须重命名这些列,以确保它们符合配置单元中的命名方案。

相关问题