在一个有Spark的工作中,我用
.withColumn("year", year(to_timestamp(lit(col("timestamp")))))
这个代码以前是有用的。但现在我得到了一个错误:
"cannot resolve 'CAST(`timestamp` AS TIMESTAMP)' due to data type mismatch: cannot cast struct<int:int,long:bigint> to timestamp;"
我看起来像是spark在读我的时间戳栏 struct<int:int,long:bigint>
而不是 int
我该怎么防止呢?
上下文初始数据在jsonline中。我是用胶水读的 glueContext.create_dynamic_frame.from_catalog
. 在glue目录中输入timestamp列 int
.
暂无答案!
目前还没有任何答案,快来回答吧!