我正在尝试在AWS Glue中添加一个名为timestamp的新列。
我的上游数据键有大写字母。
x1c 0d1x的数据
但是，在添加了timestamp列之后，其余列的键变成了小写。

实验一：转换- SQL查询

select 
    cast((Absolute_Time - 2082844800) * 1000 as bigint) as timestamp,
    *
from
    engine_demo;

字符串
但是，它降低了我所有的键。

的

实验二：转换-自定义代码

def MyTransform (glueContext, dfc) -> DynamicFrameCollection:
    df = dfc.select(list(dfc.keys())[0]).toDF()
    
    from pyspark.sql import functions as F
    df = df.withColumn(
      "timestamp",
      ((F.col("Absolute_Time") - 2082844800) * 1000).cast("long")
    )
    dynamic_frame = DynamicFrame.fromDF(df, glueContext, "changed")
    return (DynamicFrameCollection({"result_dynf": dynamic_frame}, glueContext))

型
它还降低了我所有的钥匙

的

实验三

我找到了Enable case sensitivity for spark.sql globally
但是，在“转换- SQL查询”节点中没有可以设置的地方，所以我尝试在“转换-自定义”代码中设置配置：

def MyTransform (glueContext, dfc) -> DynamicFrameCollection:
    glueContext.spark_session.conf.set("spark.sql.caseSensitive", "true")
    
    df = dfc.select(list(dfc.keys())[0]).toDF()
    from pyspark.sql import functions as F
    df = df.withColumn(
      "timestamp",
      ((F.col("Absolute_Time") - 2082844800) * 1000).cast("long")
    )
    dynamic_frame = DynamicFrame.fromDF(df, glueContext, "changed")
    return (DynamicFrameCollection({"dynamic_frame": dynamic_frame}, glueContext))

型
然而，上面的代码给出了相同的结果。
是否有方法在AWS Glue Transform节点中保留关键字母大小写？谢谢你，谢谢