spark dataframe.topandas()在不存在的datetimes上失败

4si2a6ki  于 2021-05-19  发布在  Spark
关注(0)|答案(0)|浏览(297)

我的数据库源在utf中有datetimes。我在cet工作。在sparkDataframe中加载数据,然后将Dataframe转换为一个新的Dataframe,这会导致错误,因为在更改为夏季时间期间,datetimes的datetimes不存在(ej:2013-03-31 02:01:00)。也就是说,Pandas的星火日期来源于当地时区。
将spark读取器选项中的“timezone”设置为“utc”将被忽略,因为将应用程序的“spark.sql.session.timezone”设置为“utc”。
通过进一步调试,我发现在环境中将“tz”设置为“utc”可以正确地管理日期。
但是,我担心这个设置会干扰python或django应用程序的其他部分。
有没有其他的解决办法我还没有找到?
如果没有,我还应该注意哪些副作用?像其他依赖于该设置的库一样?
我使用的是windows系统,python3和django3。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题