将pyspark groupby窗口转换为padas滚动窗口

inkz8wg9  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(234)

我现在有一个pyspark查询,非常好用。

def max_messages_per_window(df, window_ms=1000, sliding_ms=1000):
    df = df.groupby(window(col('metadata_messagetimestamphuman'), "{window_ms} milliseconds".format(window_ms=window_ms), "{sliding_ms} milliseconds".format(sliding_ms=sliding_ms))).count().sort(col("count").desc())
    return df

我想通过摇窗把它变成一只Pandas。
我尝试了以下方法,但无效:

def max_messages_per_window(df, window_ms=1000, sliding_ms=1000):
    df = df.rolling(window='1s', on='metadata_messagetimestamphuman').count()
    return df

我做错什么了?如何将工作正常的pyspark查询转换为工作窗口查询?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题