我正在通过spark向Parquet地板加载数据。
dataFrame.write.parquet(path)
我的数据在写入parquet时有一个timestamp列,它实际上是将timestamp转换为utc时区,然后存储。
实际时间-----2020-10-21 00:00:00.000
utc时间---------2020-10-21t05:30:00.000+05:30
我看到spark conf设置为utc时区。 spark.sql.session.timeZone
有没有办法关闭这个转换?
我想加载时间戳,因为它是没有转换成任何其他时区。我该怎么做?
暂无答案!
目前还没有任何答案,快来回答吧!