numpy 使用屏蔽数据进行Scipy插值?

eqfvzcg8  于 11个月前  发布在  其他
关注(0)|答案(3)|浏览(91)

我尝试插值包含掩码数据的2D数组。我使用了SciPy模块的一些可用方法,包括interp2dbisplrep/bisplev以及RectBivariateSpline。作为附加信息,我的数据是一个常规数组,这意味着网格具有相同的维度(在本例中为1ºX1º)。
话虽如此,有没有办法用Python在数组中插入避免掩码数据的方法?我仍然是使用Python和NumPy/SciPy模块的新手。

m1m5dgzv

m1m5dgzv1#

实际上,你可以使用每一个接受x, y, z的函数(interp2d就是这样,其他的也可能是这样)来处理你的掩码数据。但是你需要显式地创建一个mgrid

z = ... # Your data
x, y = np.mgrid[0:z.shape[0], 0:z.shape[1]]

字符串
然后,您需要删除所有这些坐标中的所有掩码值:

x = x[~z.mask]
y = y[~z.mask]
z = z[~z.mask]


使用这些最终的x, y, z,您可以调用指定的每个函数(它接受不完整的格网,因此RectBivariateSpline将不起作用)。但是请注意,其中一些使用插值框,因此如果由于掩码而丢弃数据的区域太大,则插值将在那里失败(结果是np.nan或0)。但是如果发生这种情况,您可以调整参数以进行补偿。

例如:

data = np.random.randint(0, 10, (5,5))
mask = np.random.uniform(0,1,(5,5)) > 0.5
z = np.ma.array(data, mask=mask)
x, y = np.mgrid[0:z.shape[0], 0:z.shape[1]]
x1 = x[~z.mask]
y1 = y[~z.mask]
z1 = z[~z.mask]
interp2d(x1, y1, z1)(np.arange(z.shape[0]), np.arange(z.shape[1]))

array([[  1.1356716 ,   2.45313727,   3.77060294,   6.09790177, 9.31328935],
       [  3.91917937,   4.        ,   4.08082063,   3.98508121, 3.73406764],
       [ 42.1933738 ,  25.0966869 ,   8.        ,   0.        , 0.        ],
       [  1.55118338,   3.        ,   4.44881662,   4.73544593, 4.        ],
       [  5.        ,   8.        ,  11.        ,   9.34152525, 3.58619652]])


你可以看到0的小区域,因为掩码有很多掩码值:

mask
array([[False,  True,  True,  True, False],
       [False, False,  True, False, False],
       [ True,  True, False,  True,  True],
       [False,  True, False,  True,  True],
       [False,  True, False, False,  True]], dtype=bool)

data
array([[2, 4, 4, 5, 5],
       [1, 4, 1, 3, 8],
       [9, 1, 8, 0, 9],
       [7, 2, 0, 3, 4],
       [9, 6, 0, 4, 4]])

ahy6op9u

ahy6op9u2#

@MSeifert概述的方法的问题是丢失了规则的网格结构,导致插值效率低下。只有通过插值来填充缺失的数据才是合理的,但不适用于从一个网格到另一个网格的典型插值,其中缺失的数据不应该被填充。
在这种情况下,使用np.nan填充缺失值是最简单的方法。这些将在计算中传播,并且所得数组将在缺失值用于插值的任何地方都具有nans。

# fast interpolator that use the regular grid structure (x and y are 1D arrays)
z = z_masked.filled(np.nan)
zinterp = RegularGridInterpolator((x, y), z.T)

# new grid to interpolate on
X2, Y2 = np.meshgrid(x2, y2)
newpoints = np.array((X2, Y2)).T

# actual interpolation
z2 = zinterp(newpoints)
z2_masked = np.ma.array(z2, mask=np.isnan(z2))

字符串
为了完整起见,另一种方法是插值第二个mask数组(在数据缺失的地方填充1,否则填充0)来填充新网格上的缺失值。

# fast interpolator that use the regular grid structure (x and y are 1D arrays)
zinterp = RegularGridInterpolator((x, y), z.T)
minterp = RegularGridInterpolator((x, y), (mask+0.).T)

# actual interpolation
z2 = zinterp(newpoints)
mask2 = minterp(newpoints) > 0  # apply threshold, e.g. 0.5 is considered contaminated and will be removed.
z2[mask2] = np.nan  # fill with nans or whatever missing data flag


注意,如果需要样条插值,这两种方法都应该与BivariateSpline一起工作。无论哪种方式,这都应该比使用interp 2d快得多。

bpzcxfmw

bpzcxfmw3#

我通常遵循@mseifert描述的方法,但如果我厌倦了通过掩蔽区域的插值误差,则添加以下改进。这似乎是您的关注点之一,@ hurrdraw?这个想法是将掩码传播到插值结果。一维数据的一个简单示例是:

def ma_interp(newx,x,y,mask,propagate_mask=True):
    newy = np.interp(newx,x[~mask],y[~mask]) # interpolate data
    if propagate_mask: # interpolate mask & apply to interpolated data
        newmask = mask[:]
        newmask[mask] = 1; newmask[~mask] = 0
        newmask = np.interp(newx,x,newmask)
        newy = np.ma.masked_array(newy, newmask>0.5)
    return newy

字符串

相关问题