Pandas按函数过滤数据框行

tnkciper 于 2023-03-28 发布在其他

关注(0)|答案(2)|浏览(114)

我想根据行中的不同值通过更复杂的函数过滤 Dataframe 。
有没有可能像在ES6 filter function中那样通过布尔函数过滤DF行？
极端简化的例子来说明这个问题：

import pandas as pd

def filter_fn(row):
    if row['Name'] == 'Alisa' and row['Age'] > 24:
        return False

    return row

d = {
    'Name': ['Alisa', 'Bobby', 'jodha', 'jack', 'raghu', 'Cathrine',
             'Alisa', 'Bobby', 'kumar', 'Alisa', 'Alex', 'Cathrine'],
    'Age': [26, 24, 23, 22, 23, 24, 26, 24, 22, 23, 24, 24],

    'Score': [85, 63, 55, 74, 31, 77, 85, 63, 42, 62, 89, 77]}

df = pd.DataFrame(d, columns=['Name', 'Age', 'Score'])

df = df.apply(filter_fn, axis=1, broadcast=True)

我发现了一些使用apply()的东西，但这实际上只使用bool函数返回False/True填充的行，这是预期的。
我的解决方法是当函数结果为True时返回行本身，否则返回False。但这之后需要额外的过滤。

Name    Age  Score
0      False  False  False
1      Bobby     24     63
2      jodha     23     55
3       jack     22     74
4      raghu     23     31
5   Cathrine     24     77
6      False  False  False
7      Bobby     24     63
8      kumar     22     42
9      Alisa     23     62
10      Alex     24     89
11  Cathrine     24     77

pandas

来源：https://stackoverflow.com/questions/51589573/pandas-filter-data-frame-rows-by-function

2条答案

按热度按时间

fjaof16o1#

我认为在这里使用函数是不必要的。使用布尔索引更好，而且主要是更快：

m = (df['Name'] == 'Alisa') & (df['Age'] > 24)
print(m)
0      True
1     False
2     False
3     False
4     False
5     False
6      True
7     False
8     False
9     False
10    False
11    False
dtype: bool

#invert mask by ~
df1 = df[~m]

对于更复杂的过滤，你可以使用一个必须返回布尔值的函数：

def filter_fn(row):
    if row['Name'] == 'Alisa' and row['Age'] > 24:
        return False
    else:
        return True

df = pd.DataFrame(d, columns=['Name', 'Age', 'Score'])
m = df.apply(filter_fn, axis=1)
print(m)
0     False
1      True
2      True
3      True
4      True
5      True
6     False
7      True
8      True
9      True
10     True
11     True
dtype: bool

df1 = df[m]

赞(0）回复(0）举报 2023-03-28

xyhw6mcr2#

一个非常可读的过滤 Dataframe 的方法是query。

df.query("not (Name == 'Alisa' and Age > 24)")

# or pass the negation from the beginning (by de Morgan's laws)
df.query("Name != 'Alisa' or Age <= 24")

另一种方法是将复杂的函数传递给loc进行过滤。

df.loc[lambda x: ~((x['Name'] == 'Alisa') & (x['Age'] > 24))]

赞(0）回复(0）举报 2023-03-28

我来回答

Pandas按函数过滤数据框行

2条答案

相关问题

热门标签

最新问答