我正在尝试将Dataframe加载到配置单元表。不过,这也增加了30分钟的时间。我试过下面的方法
从pyspark导入sparkcontext、hivecontext
sc=sparkcontext()
配置单元上下文=配置单元上下文(sc)
df\u load.write.mode(“append”).saveastable(“default.data\u load”)
df\ U负载有一列“currenthour”,值为“2020-09-01 09:00:00”。但在表中,它被加载为“2020-09-01 09:30:00”。
如何解决这个问题。
1条答案
按热度按时间gjmwrych1#
由于时区的原因,这是timestamp数据类型的一个常见问题。请参阅:
spark sql to hive表-datetime字段小时数错误