R语言寻找一种更有效的方法来筛选数组

6yt4nkrj 于 2023-01-22 发布在其他

关注(0)|答案(1)|浏览(151)

我从krige()、values和variances中获得了两个数组，它们都有几百万个条目。这两个数组长度相同，并且彼此匹配1：1。我想删除方差超过某个阈值的值。我实际上不需要在原处修改values，生成第三个数组就可以了。
下面的代码工作正常：

for (i in 1:length(values)) {
  if (variances[i] > 0.8) {
    values[i] = NA
  }
}

不幸的是，它非常慢，而且只使用一个处理器内核。我真的需要手动处理并行计算吗？这听起来很普通，所以它应该以某种方式内置，不仅使用多个内核，还可以使用一些矢量处理器指令。
请指点我。

r

来源：https://stackoverflow.com/questions/75161727/looking-for-a-more-efficient-way-to-filter-an-array

1条答案

按热度按时间

xpcnnkqh1#

只要这些数组匹配，就应该能够将一个数组与另一个数组进行子集化：

set.seed(1)
(values <- array(1:25, c(5,5)))
#>      [,1] [,2] [,3] [,4] [,5]
#> [1,]    1    6   11   16   21
#> [2,]    2    7   12   17   22
#> [3,]    3    8   13   18   23
#> [4,]    4    9   14   19   24
#> [5,]    5   10   15   20   25

(variances <- array(rnorm(25,.8,0.2),c(5,5)))
#>           [,1]      [,2]      [,3]      [,4]      [,5]
#> [1,] 0.6747092 0.6359063 1.1023562 0.7910133 0.9837955
#> [2,] 0.8367287 0.8974858 0.8779686 0.7967619 0.9564273
#> [3,] 0.6328743 0.9476649 0.6757519 0.9887672 0.8149130
#> [4,] 1.1190562 0.9151563 0.3570600 0.9642442 0.4021297
#> [5,] 0.8659016 0.7389223 1.0249862 0.9187803 0.9239651

is.na(values[variances > .8]) <- TRUE

values
#>      [,1] [,2] [,3] [,4] [,5]
#> [1,]    1    6   NA   16   NA
#> [2,]   NA   NA   NA   17   NA
#> [3,]    3   NA   13   NA   NA
#> [4,]   NA   NA   14   NA   24
#> [5,]   NA   10   NA   NA   NA

对于长度为1000万的数组，在我的笔记本电脑上大约需要一秒钟，数据生成包括：

system.time({
  values <- array(1:10e6, c(1000,10000))
  variances <- array(rnorm(10e6,.8,0.2),dim(values))
  is.na(values[variances > .8]) <- TRUE
})
#>    user  system elapsed 
#>    1.05    0.10    1.14

dim(variances)
#> [1]  1000 10000
object.size(variances)
#> 80000216 bytes
object.size(values)
#> 40000216 bytes

创建于2023年1月18日，使用reprex v2.0.2

赞(0）回复(0）举报 2023-01-22

我来回答

R语言寻找一种更有效的方法来筛选数组

1条答案

相关问题

热门标签

最新问答

R语言 寻找一种更有效的方法来筛选数组

1条答案

相关问题

热门标签

最新问答

R语言寻找一种更有效的方法来筛选数组