在Python中计算numpy ndarray中非NaN元素的数量

falq053o  于 2022-11-29  发布在  Python
关注(0)|答案(5)|浏览(168)

我需要计算一个numpy ndarray矩阵中非NaN元素的个数。在Python中如何高效地完成这个任务呢?下面是我实现这个任务的简单代码:

import numpy as np

def numberOfNonNans(data):
    count = 0
    for i in data:
        if not np.isnan(i):
            count += 1
    return count

在numpy中是否有一个内置的函数?效率很重要,因为我在做大数据分析。
感谢任何帮助!

nwwlzxa7

nwwlzxa71#

np.count_nonzero(~np.isnan(data))

~会反转从np.isnan传回的布林矩阵。
np.count_nonzero对非0\false的值进行计数。.sum应给予相同的结果。但使用count_nonzero可能更清楚
测试速度:

In [23]: data = np.random.random((10000,10000))

In [24]: data[[np.random.random_integers(0,10000, 100)],:][:, [np.random.random_integers(0,99, 100)]] = np.nan

In [25]: %timeit data.size - np.count_nonzero(np.isnan(data))
1 loops, best of 3: 309 ms per loop

In [26]: %timeit np.count_nonzero(~np.isnan(data))
1 loops, best of 3: 345 ms per loop

In [27]: %timeit data.size - np.isnan(data).sum()
1 loops, best of 3: 339 ms per loop

data.size - np.count_nonzero(np.isnan(data))在这里似乎勉强是最快的。其他数据可能会给予出不同的相对速度结果。

deyfvvtc

deyfvvtc2#

快速写入替代方案

尽管不是最快的选择,但如果性能不是问题,您可以用途:
sum(~np.isnan(data)) .

性能:

In [7]: %timeit data.size - np.count_nonzero(np.isnan(data))
10 loops, best of 3: 67.5 ms per loop

In [8]: %timeit sum(~np.isnan(data))
10 loops, best of 3: 154 ms per loop

In [9]: %timeit np.sum(~np.isnan(data))
10 loops, best of 3: 140 ms per loop
zfycwa2u

zfycwa2u3#

要确定数组是否稀疏,获取nan值的比例可能会有所帮助

np.isnan(ndarr).sum() / ndarr.size

如果该比例超过阈值,则使用稀疏数组,例如-https://sparse.pydata.org/en/latest/

ujv3wf0j

ujv3wf0j4#

另一种方法是在索引上执行此操作,但速度稍慢。

np.isnan(data)[np.isnan(data) == False].size

In [30]: %timeit np.isnan(data)[np.isnan(data) == False].size
1 loops, best of 3: 498 ms per loop

np.isnan(data)==运算符的双重使用可能有点矫枉过正,所以我发布答案只是为了完整性。

eit6fx6z

eit6fx6z5#

len([i for i in data if np.isnan(i) == True])

相关问题