pandas 如何使用groupby并使用polars应用

1hdlvixo  于 2023-05-05  发布在  其他
关注(0)|答案(1)|浏览(190)

我绞尽脑汁想弄清楚如何在Python的库polars中使用groupbyapply
来自Pandas,我使用:

def get_score(df):
   return spearmanr(df["prediction"], df["target"]).correlation

correlations = df.groupby("era").apply(get_score)

但在极地,这行不通。
我尝试了几种方法,主要是围绕:

correlations = df.groupby("era").apply(get_score)

但这会失败,并显示错误消息:
'无法获取DataFrame属性'_df '。确保返回DataFrame对象。:PyErr { type:〈class 'AttributeError'〉,value:AttributeError(“'numpy.float64' object has no attribute '_df'"),
有什么想法吗

bvjxkvbb

bvjxkvbb1#

polars>=0.10.4开始,您可以使用pl.spearman_rank_corr函数。
如果你想使用一个自定义函数,你可以这样做:

多列/多表达式自定义函数

import polars as pl
from typing import List
from scipy import stats

df = pl.DataFrame({
    "g": [1, 1, 1, 2, 2, 2, 5],
    "a": [2, 4, 5, 190, 1, 4, 1],
    "b": [1, 3, 2, 1, 43, 3, 1]
})

def get_score(args: List[pl.Series]) -> pl.Series:
    return pl.Series([stats.spearmanr(args[0], args[1]).correlation], dtype=pl.Float64)

(df.groupby("g", maintain_order=True)
 .agg(
    pl.apply(
        exprs=["a", "b"], 
        function=get_score).alias("corr")
 ))

Polars提供的功能

(df.groupby("g", maintain_order=True)
 .agg(
     pl.spearman_rank_corr("a", "b").alias("corr")
 ))

两个输出:

shape: (3, 2)
┌─────┬──────┐
│ g   ┆ corr │
│ --- ┆ ---  │
│ i64 ┆ f64  │
╞═════╪══════╡
│ 1   ┆ 0.5  │
├╌╌╌╌╌┼╌╌╌╌╌╌┤
│ 2   ┆ -1e0 │
├╌╌╌╌╌┼╌╌╌╌╌╌┤
│ 5   ┆ NaN  │
└─────┴──────┘

单列/表达式自定义函数

我们还可以通过.apply.map在单个表达式上应用自定义函数。
下面是一个例子,我们可以平方列与自定义函数和正常的polars表达式。表达式语法应该总是首选的,因为它快得多。

(df.groupby("g")
 .agg(
     pl.col("a").apply(lambda group: group**2).alias("squared1"),
     (pl.col("a")**2).alias("squared2")
 ))

applymap有什么区别?

map适用于整个列seriesapply处理单个值或单个组,具体取决于上下文。

select上下文:
  • map
  • 输入/输出类型:Series
  • 输入的语义:列值
  • apply
  • 输入/输出类型:Union[int, float, str, bool]
  • 输入的语义:列中的单个值
groupby上下文:
  • map
  • 输入/输出类型:Series
  • 输入的语义:值为组的列表列
  • apply
  • 输入/输出类型:Series
  • 输入的语义:团体

相关问题