面对这样一个场景,dataframe区分大小写,在将这个dataframe插入配置单元表时,它会抛出错误作为列 E.g:daframe_test.columns[ABC, ] 我们可以在运行时动态处理列中的两个值而不抛出错误吗通过设置 spark.set.conf("spark.sql.caseSensitive", "true") 但在添加此属性后将此Dataframe插入配置单元表时,会引发错误/异常,如内存开销和堆空间等问题。以及不希望此属性在实时项目中设置
E.g:daframe_test.columns[ABC, ]
spark.set.conf("spark.sql.caseSensitive", "true")
zsohkypk1#
配置单元不支持区分大小写的列名。您必须重命名这些列,以确保它们符合配置单元中的命名方案。
1条答案
按热度按时间zsohkypk1#
配置单元不支持区分大小写的列名。您必须重命名这些列,以确保它们符合配置单元中的命名方案。