如何从字符串中读取NumPy 2D数组?

falq053o  于 2022-11-10  发布在  其他
关注(0)|答案(5)|浏览(125)

如何从字符串中读取Numpy数组?使用如下字符串:

"[[ 0.5544  0.4456], [ 0.8811  0.1189]]"

并将其转换为数组:

a = from_string("[[ 0.5544  0.4456], [ 0.8811  0.1189]]")

其中a成为对象:np.array([[0.5544, 0.4456], [0.8811, 0.1189]])
我正在寻找一个非常简单的界面。一种将2D数组(浮点数)转换为字符串,然后读回它们以重新构造数组的方法:
arr_to_string(array([[0.5544, 0.4456], [0.8811, 0.1189]]))应返回"[[ 0.5544 0.4456], [ 0.8811 0.1189]]"
string_to_arr("[[ 0.5544 0.4456], [ 0.8811 0.1189]]")应返回对象array([[0.5544, 0.4456], [0.8811, 0.1189]])
理想情况下,arr_to_string应该有一个精度参数来控制转换为字符串的浮点数的精度,这样您就不会得到像0.4444444999999999999999999这样的条目。
我在NumPy的文档中找不到这样做的两种方式。np.save允许您生成一个字符串,但之后无法将其重新加载(np.load仅适用于文件)。

5t7ly7z5

5t7ly7z51#

挑战在于不仅要保存数据缓冲区,还要保存形状和数据类型。np.fromstring读取数据缓冲区,但将其作为一维数组;您必须从其他位置获取数据类型和形状。

In [184]: a=np.arange(12).reshape(3,4)

In [185]: np.fromstring(a.tostring(),int)
Out[185]: array([ 0,  1,  2,  3,  4,  5,  6,  7,  8,  9, 10, 11])

In [186]: np.fromstring(a.tostring(),a.dtype).reshape(a.shape)
Out[186]: 
array([[ 0,  1,  2,  3],
       [ 4,  5,  6,  7],
       [ 8,  9, 10, 11]])

保存Python对象的一种由来已久的机制是pickle,并且numpy与Pickle兼容:

In [169]: import pickle

In [170]: a=np.arange(12).reshape(3,4)

In [171]: s=pickle.dumps(a*2)

In [172]: s
Out[172]: "cnumpy.core.multiarray\n_reconstruct\np0\n(cnumpy\nndarray\np1\n(I0\ntp2\nS'b'\np3\ntp4\nRp5\n(I1\n(I3\nI4\ntp6\ncnumpy\ndtype\np7\n(S'i4'\np8\nI0\nI1\ntp9\nRp10\n(I3\nS'<'\np11\nNNNI-1\nI-1\nI0\ntp12\nbI00\nS'\\x00\\x00\\x00\\x00\\x02\\x00\\x00\\x00\\x04\\x00\\x00\\x00\\x06\\x00\\x00\\x00\\x08\\x00\\x00\\x00\\n\\x00\\x00\\x00\\x0c\\x00\\x00\\x00\\x0e\\x00\\x00\\x00\\x10\\x00\\x00\\x00\\x12\\x00\\x00\\x00\\x14\\x00\\x00\\x00\\x16\\x00\\x00\\x00'\np13\ntp14\nb."

In [173]: pickle.loads(s)
Out[173]: 
array([[ 0,  2,  4,  6],
       [ 8, 10, 12, 14],
       [16, 18, 20, 22]])

有一个NumPy函数可以读取泡菜字符串:

In [181]: np.loads(s)
Out[181]: 
array([[ 0,  2,  4,  6],
       [ 8, 10, 12, 14],
       [16, 18, 20, 22]])

您在字符串中提到了np.save,但您不能使用np.load。解决这个问题的一种方法是进一步深入代码,并使用np.lib.npyio.format

In [174]: import StringIO

In [175]: S=StringIO.StringIO()  # a file like string buffer

In [176]: np.lib.npyio.format.write_array(S,a*3.3)

In [177]: S.seek(0)   # rewind the string

In [178]: np.lib.npyio.format.read_array(S)
Out[178]: 
array([[  0. ,   3.3,   6.6,   9.9],
       [ 13.2,  16.5,  19.8,  23.1],
       [ 26.4,  29.7,  33. ,  36.3]])

save字符串的标题包含dtypeshape信息:

In [179]: S.seek(0)

In [180]: S.readlines()
Out[180]: 
["\x93NUMPY\x01\x00F\x00{'descr': '<f8', 'fortran_order': False, 'shape': (3, 4), }          \n",
 '\x00\x00\x00\x00\x00\x00\x00\x00ffffff\n',
 '@ffffff\x1a@\xcc\xcc\xcc\xcc\xcc\xcc#@ffffff*@\x00\x00\x00\x00\x00\x800@\xcc\xcc\xcc\xcc\xcc\xcc3@\x99\x99\x99\x99\x99\x197@ffffff:@33333\xb3=@\x00\x00\x00\x00\x00\x80@@fffff&B@']

如果您想要一个人类可读的字符串,您可以尝试json

In [196]: import json

In [197]: js=json.dumps(a.tolist())

In [198]: js
Out[198]: '[[0, 1, 2, 3], [4, 5, 6, 7], [8, 9, 10, 11]]'

In [199]: np.array(json.loads(js))
Out[199]: 
array([[ 0,  1,  2,  3],
       [ 4,  5,  6,  7],
       [ 8,  9, 10, 11]])

在数组的列表表示之间来回移动是json最明显的用法。可能有人编写了更精细的数组json表示。
您也可以采用csv--关于读/写CSV数组有很多问题。

'[[ 0.5544  0.4456], [ 0.8811  0.1189]]'

是用于此目的的糟糕的字符串表示形式。它看起来确实很像数组的str(),但使用的是,而不是\n。但是没有一种干净的方法来解析嵌套的[],缺少分隔符是一件令人头疼的事情。如果它始终使用,,则json可以将其转换为List。
np.matrix接受类似于matlab的字符串:

In [207]: np.matrix(' 0.5544,  0.4456;0.8811,  0.1189')
Out[207]: 
matrix([[ 0.5544,  0.4456],
        [ 0.8811,  0.1189]])

In [208]: str(np.matrix(' 0.5544,  0.4456;0.8811,  0.1189'))
Out[208]: '[[ 0.5544  0.4456]\n [ 0.8811  0.1189]]'
izkcnapc

izkcnapc2#

转发到字符串:

import numpy as np
def array2str(arr, precision=None):
    s=np.array_str(arr, precision=precision)
    return s.replace('\n', ',')

向后返回到数组:

import re
import ast
import numpy as np
def str2array(s):
    # Remove space after [
    s=re.sub('\[ +', '[', s.strip())
    # Replace commas and spaces
    s=re.sub('[,\s]+', ', ', s)
    return np.array(ast.literal_eval(s))

如果使用repr()将数组转换为字符串,转换将非常简单。

7uhlpewt

7uhlpewt3#

如果内部列表中的数字之间没有逗号,我不确定有什么简单的方法可以做到这一点,但如果有,那么可以使用ast.literal_eval

import ast
import numpy as np
s = '[[ 0.5544,  0.4456], [ 0.8811,  0.1189]]'
np.array(ast.literal_eval(s))

array([[ 0.5544,  0.4456],
       [ 0.8811,  0.1189]])

编辑:我没有测试过它,但您可以使用re在您需要的地方插入逗号:

import re
s1 = '[[ 0.5544  0.4456], [ 0.8811 -0.1189]]'

# Replace spaces between numbers with commas:

s2 = re.sub('(\d) +(-|\d)', r'\1,\2', s1)
s2
'[[ 0.5544,0.4456], [ 0.8811,-0.1189]]'

然后交给ast.literal_eval

np.array(ast.literal_eval(s2))
array([[ 0.5544,  0.4456],
       [ 0.8811, -0.1189]])

(您需要注意匹配数字之间的空格,以及数字和减号之间的空格)。

idfiyjo8

idfiyjo84#

宋体字符串()允许您轻松地从字符串创建一维数组。下面是一个从字符串创建2D Numpy数组的简单函数:

import numpy as np

def str2np(strArray):

    lItems = []
    width = None
    for line in strArray.split("\n"):
        lParts = line.split()
        n = len(lParts)
        if n==0:
            continue
        if width is None:
            width = n
        else:
            assert n == width, "invalid array spec"
        lItems.append([float(str) for str in lParts])
    return np.array(lItems)

用途:

X = str2np("""
    -2  2
    -1  3
     0  1
     1  1
     2 -1
     """)
print(f"X = {X}")

产出:

X = [[-2.  2.]
 [-1.  3.]
 [ 0.  1.]
 [ 1.  1.]
 [ 2. -1.]]
j2cgzkjk

j2cgzkjk5#

在我的例子中,我发现以下命令有助于转储:

string = str(array.tolist())

和重新加载:

array = np.array( eval(string) )

这应该适用于任何维度的NumPy数组。

相关问题