条件reg_date >= txn_date可能是不明确的。
2019-01-06>=2019-01-06 17:01:30是指2019-01-06 00:00:00>=2019-01-06 17:01:30还是2019-01-06 23:59:59>=2019-01-06 17:01:30？
在你的例子中，2019-01-06>=2019-01-06 17:01:30被评估为true，所以我假设它是后一种情况，即。时间23：59：59
根据上面的假设，下面是我如何编码的。

import pyspark.sql.functions as F

#create a sample data frame
data = [('2019-01-06','2019-02-15 12:51:15'),('2019-01-06','2019-03-29 13:15:27'),('2019-01-06','2019-01-06 17:01:30'),\
('2019-07-30','2019-07-30 07:03:01'),('2019-07-30','2019-07-30 01:27:57'),('2019-07-30','2019-07-30 00:08:35')]

cols = ('reg_date', 'txn_date')

df = spark.DataFrame(data,cols)

#add 23:59:59 to reg_date as a dummy_date for a timestamp comparison later
df = df.withColumn('dummy_date', F.concat(F.col('reg_date'), F.lit(' 23:59:59')))

#convert columns to the appropriate time data types
df = df.select([F.to_date(F.col('reg_date'),'yyyy-MM-dd').alias('reg_date'),\
F.to_timestamp(F.col('txn_date'),'yyyy-MM-dd HH:mm:ss').alias('txn_date'),\
F.to_timestamp(F.col('dummy_date'),'yyyy-MM-dd HH:mm:ss').alias('dummy_date')])

#implementation part
(df.orderBy('reg_date')
   .filter(F.col('dummy_date')>=F.col('txn_date'))
   .groupBy('reg_date')
   .agg(F.first('txn_date').alias('txn_date'))
   .show()) 

#+----------+----------------------+
#|  reg_date|              txn_date|
#+----------+----------------------+
#|2019-01-06|   2019-01-06 17:01:30|
#|2019-07-30|   2019-07-30 07:03:01|
#+----------+----------------------+

你不需要点餐。您可以使用过滤器丢弃所有较小的值，然后按id聚合并获得较小的时间戳，因为第一个时间戳将是最小值。例如：

df.filter(df.reg_date >= df.txn_date) \
  .groupBy(df.reg_date) \
  .agg(F.min(df.txn_date)) \
  .show()