很直接。是不是跑起来更快

df.filter(col("date_col").cast("timestamp") >= lit(my_timestamp) )

或

df.withColumn("date_col_cast_timestamp", col("date_col").cast("timestamp") ) \
  .filter("date_col_cast_timestamp" >= lit(my_timestamp) )

或者再来一次

df.withColumn("date_col_cast_timestamp", col("date_col").cast("timestamp") ) \
  .withColumn("my_timestamp", lit(my_timestamp)) \
  .filter("date_col_cast_timestamp" >= col("my_timestamp"))

如果你能解释一下原因，我将不胜感激。我对spark的理解不是最好的，当我尝试做一个过滤器（cast >= lit）时，我注意到创建了数千个任务，而不是几百个。不知道这是更好还是更糟。我不知道它是慢了还是快了。