将Python序列转换为NumPy数组,填充缺失值

iqih9akk  于 2023-06-29  发布在  Python
关注(0)|答案(8)|浏览(81)

将 * 可变长度 * 列表的Python序列隐式转换为NumPy数组会导致该数组的类型为 object

v = [[1], [1, 2]]
np.array(v)
>>> array([[1], [1, 2]], dtype=object)

尝试强制另一种类型将导致异常:

np.array(v, dtype=np.int32)
ValueError: setting an array element with a sequence.

通过用给定的占位符填充“缺失”值,获得int32类型的密集NumPy数组的最有效方法是什么?
从我的样本序列v中,如果0是占位符,我想得到如下内容

array([[1, 0], [1, 2]], dtype=int32)
6qftjkof

6qftjkof1#

您可以使用itertools.zip_longest:

import itertools
np.array(list(itertools.zip_longest(*v, fillvalue=0))).T
Out: 
array([[1, 0],
       [1, 2]])

注意:对于Python 2,它是itertools.izip_longest。

tyky79it

tyky79it2#

这里是一个几乎 * 矢量化的基于布尔索引的方法,我在其他几篇文章中使用过-

def boolean_indexing(v):
    lens = np.array([len(item) for item in v])
    mask = lens[:,None] > np.arange(lens.max())
    out = np.zeros(mask.shape,dtype=int)
    out[mask] = np.concatenate(v)
    return out

样本运行

In [27]: v
Out[27]: [[1], [1, 2], [3, 6, 7, 8, 9], [4]]

In [28]: out
Out[28]: 
array([[1, 0, 0, 0, 0],
       [1, 2, 0, 0, 0],
       [3, 6, 7, 8, 9],
       [4, 0, 0, 0, 0]])
  • 请注意,这几乎是向量化的,因为这里执行的唯一循环是在开始处,我们在这里获得列表元素的长度。但是计算量不那么大的那部分应该对总运行时间有最小的影响。
    运行时测试

在本节中,我将对DataFrame-based solution by @Alberto Garcia-Rabosoitertools-based solution by @ayhan进行计时,因为它们似乎可以很好地扩展,并且本文中基于布尔索引的数据集相对较大,列表元素之间的大小变化有三个级别。
案例1:尺寸变化较大

In [44]: v = [[1], [1,2,4,8,4],[6,7,3,6,7,8,9,3,6,4,8,3,2,4,5,6,6,8,7,9,3,6,4]]

In [45]: v = v*1000

In [46]: %timeit pd.DataFrame(v).fillna(0).values.astype(np.int32)
100 loops, best of 3: 9.82 ms per loop

In [47]: %timeit np.array(list(itertools.izip_longest(*v, fillvalue=0))).T
100 loops, best of 3: 5.11 ms per loop

In [48]: %timeit boolean_indexing(v)
100 loops, best of 3: 6.88 ms per loop

案例2:较小的尺寸变化

In [49]: v = [[1], [1,2,4,8,4],[6,7,3,6,7,8]]

In [50]: v = v*1000

In [51]: %timeit pd.DataFrame(v).fillna(0).values.astype(np.int32)
100 loops, best of 3: 3.12 ms per loop

In [52]: %timeit np.array(list(itertools.izip_longest(*v, fillvalue=0))).T
1000 loops, best of 3: 1.55 ms per loop

In [53]: %timeit boolean_indexing(v)
100 loops, best of 3: 5 ms per loop

案例#3:每个列表元素的元素数量更大(最大100)

In [139]: # Setup inputs
     ...: N = 10000 # Number of elems in list
     ...: maxn = 100 # Max. size of a list element
     ...: lens = np.random.randint(0,maxn,(N))
     ...: v = [list(np.random.randint(0,9,(L))) for L in lens]
     ...: 

In [140]: %timeit pd.DataFrame(v).fillna(0).values.astype(np.int32)
1 loops, best of 3: 292 ms per loop

In [141]: %timeit np.array(list(itertools.izip_longest(*v, fillvalue=0))).T
1 loops, best of 3: 264 ms per loop

In [142]: %timeit boolean_indexing(v)
10 loops, best of 3: 95.7 ms per loop

对我来说,似乎itertools.izip_longest做得很好!没有明确的赢家,但必须采取在个案的基础上!

bvuwiixz

bvuwiixz3#

Pandas和它的DataFrame-s很好地处理了丢失的数据。

import numpy as np
import pandas as pd

v = [[1], [1, 2]]
print(pd.DataFrame(v).fillna(0).values.astype(np.int32))

# array([[1, 0],
#        [1, 2]], dtype=int32)
frebpwbc

frebpwbc4#

max_len = max(len(sub_list) for sub_list in v)

result = np.array([sub_list + [0] * (max_len - len(sub_list)) for sub_list in v])

>>> result
array([[1, 0],
       [1, 2]])

>>> type(result)
numpy.ndarray
bhmjp9jg

bhmjp9jg5#

这里是一个一般的方法:

>>> v = [[1], [2, 3, 4], [5, 6], [7, 8, 9, 10], [11, 12]]
>>> max_len = np.argmax(v)
>>> np.hstack(np.insert(v, range(1, len(v)+1),[[0]*(max_len-len(i)) for i in v])).astype('int32').reshape(len(v), max_len)
array([[ 1,  0,  0,  0],
       [ 2,  3,  4,  0],
       [ 5,  6,  0,  0],
       [ 7,  8,  9, 10],
       [11, 12,  0,  0]], dtype=int32)
s1ag04yj

s1ag04yj6#

你可以尝试先转换pandas Dataframe ,然后再转换成numpy数组

ll = [[1, 2, 3], [4, 5], [6, 7, 8, 9]]

df = pd.DataFrame(ll)
print(df)
#    0  1    2    3
# 0  1  2  3.0  NaN
# 1  4  5  NaN  NaN
# 2  6  7  8.0  9.0

npl = df.to_numpy()
print(npl)

# [[ 1.  2.  3. nan]
#  [ 4.  5. nan nan]
#  [ 6.  7.  8.  9.]]
ds97pgxw

ds97pgxw7#

我对 Alexandria 的答案有一个 numpy 广播错误,所以我用numpy.pad添加了一个小的变化:

pad = len(max(X, key=len))

result = np.array([np.pad(i, (0, pad-len(i)), 'constant') for i in X])
wr98u20j

wr98u20j8#

如果你想将相同的逻辑扩展到更深的层次(列表的列表的列表,..),你可以使用tensorflow不规则的Tensor并转换为Tensor/数组。例如:

import tensorflow as tf
v = [[1], [1, 2]]
padded_v = tf.ragged.constant(v).to_tensor(0)

这将创建一个填充0的数组。或者一个更深层次的例子:

w = [[[1]], [[2],[1, 2]]]
padded_w = tf.ragged.constant(w).to_tensor(0)

相关问题