spark dataframe将时间戳数据加载到配置单元表时出现问题

cwdobuhd  于 2021-05-27  发布在  Spark
关注(0)|答案(1)|浏览(359)

我正在尝试将Dataframe加载到配置单元表。不过,这也增加了30分钟的时间。我试过下面的方法
从pyspark导入sparkcontext、hivecontext
sc=sparkcontext()
配置单元上下文=配置单元上下文(sc)
df\u load.write.mode(“append”).saveastable(“default.data\u load”)
df\ U负载有一列“currenthour”,值为“2020-09-01 09:00:00”。但在表中,它被加载为“2020-09-01 09:30:00”。
如何解决这个问题。

gjmwrych

gjmwrych1#

由于时区的原因,这是timestamp数据类型的一个常见问题。请参阅:
spark sql to hive表-datetime字段小时数错误

相关问题