pyspark同时使用aggregate和group-by

zzlelutf  于 2021-07-09  发布在  Spark
关注(0)|答案(1)|浏览(344)

有人能帮助我使用聚合和groupby函数的pyspark吗?我已经做了我的Dataframe,并应用过滤器和选择,以获得我想要的数据。然而,我现在被困在试图正确地聚合东西。
目前,我的代码输出以下内容:

+----------+-----------+--------------+---------------+----------+---------+
|l_orderkey|o_orderdate|o_shippriority|l_extendedprice|l_discount|      rev|
+----------+-----------+--------------+---------------+----------+---------+
|     53634| 1995-02-22|             0|       20517.44|      0.08|18876.045|
|    265539| 1995-01-25|             0|       70423.08|      0.01| 69718.85|
|    331590| 1994-12-10|             0|       46692.75|      0.03| 45291.97|
|    331590| 1994-12-10|             0|        37235.1|       0.1| 33511.59|
|    420545| 1995-03-05|             0|        75542.1|      0.04|72520.414|
|    420545| 1995-03-05|             0|         1062.0|      0.07|987.66003|
|    420545| 1995-03-05|             0|        9729.45|       0.1| 8756.505|
|    420545| 1995-03-05|             0|        15655.6|      0.04|15029.375|
|    420545| 1995-03-05|             0|         3121.3|      0.03|3027.6611|
|    420545| 1995-03-05|             0|        71723.0|      0.03| 69571.31|
|    488928| 1995-02-15|             0|        1692.77|      0.01|1675.8423|
|    488928| 1995-02-15|             0|       22017.84|      0.01|21797.662|
|    488928| 1995-02-15|             0|       57100.42|      0.04|54816.402|
|    488928| 1995-02-15|             0|        3807.76|      0.05| 3617.372|
|    488928| 1995-02-15|             0|       73332.52|      0.01|72599.195|
|    510754| 1994-12-21|             0|       41171.78|      0.09| 37466.32|
|    512422| 1994-12-26|             0|       87251.56|      0.07| 81143.95|
|    677761| 1994-12-26|             0|       60123.34|       0.0| 60123.34|
|    956646| 1995-03-07|             0|       61853.68|      0.05|58760.996|
|   1218886| 1995-02-13|             0|        24844.0|      0.01| 24595.56|
+----------+-----------+--------------+---------------+----------+---------+

我希望应用一个group by:l\u orderkey并将rev聚合为一个和。
这是我最近的一次尝试,t是Dataframe,f是pyspark.sql中的函数 "from pyspark.sql import functions as F" ```
(t .groupby(t.l_orderkey,t.o_orderdate, t.o_shippriority)
.agg(F.collect_set(sum(t.rev)), F.collect_set(t.l_orderkey)) .show())

有人能帮我知道我走对了吗?我一直在说“专栏不适合”
bbuxkriu

bbuxkriu1#

total_rev = t.groupby(t.l_orderkey).agg(F.sum(t.rev).alias('total_rev'))

# print /show the top results

total_rev.show()

会给你一个带列的新df l_orderkey, total_rev 哪里 total_rev 将存储 rev 你用 collect_set 尝试删除重复项时。
你也得到了 Column is not iterable 因为您使用的是内置的python函数 sum 而不是 spark 功能 F.sum

相关问题