pyspark将毫秒时间戳转换为时间戳

wztqucjr 于 2021-05-16 发布在 Spark

关注(0)|答案(1)|浏览(748)

我是spark的新手，我想在我的df中检索时间戳。
检查点实际值
1594976390070
我想要：
不带ms的检查点值
1594976390070/1000
实际上，我使用这段代码来转换为时间戳：


# Casting dates as Timestamp

for d in dateFields:
    df= df.withColumn(d,checkpoint.cast(TimestampType()))

我想知道如何把它转换成一个简单的时间戳。

1条答案

将列除以1000，然后使用“F.from\u unixtime”转换为时间戳类型：

import pyspark.sql.functions as F

for d in dateFields:
    df = df.withColumn(d,
        (checkpoint / F.lit(1000.)).cast('timestamp')
    )