按比例将NA随机插入 Dataframe

yshpjwxd  于 2023-05-11  发布在  其他
关注(0)|答案(7)|浏览(99)

我有一个完整的数据框架。我想用NA替换dataframe中20%的值,以模拟随机丢失的数据。

A <- c(1:10)
B <- c(11:20)
C <- c(21:30)
df<- data.frame(A,B,C)

有谁能提出一个快速的方法吗?

ttygqcqt

ttygqcqt1#

df <- data.frame(A = 1:10, B = 11:20, c = 21:30)
head(df)
##   A  B  c
## 1 1 11 21
## 2 2 12 22
## 3 3 13 23
## 4 4 14 24
## 5 5 15 25
## 6 6 16 26

as.data.frame(lapply(df, function(cc) cc[ sample(c(TRUE, NA), prob = c(0.85, 0.15), size = length(cc), replace = TRUE) ]))
##     A  B  c
## 1   1 11 21
## 2   2 12 22
## 3   3 13 23
## 4   4 14 24
## 5   5 NA 25
## 6   6 16 26
## 7  NA 17 27
## 8   8 18 28
## 9   9 19 29
## 10 10 20 30

这是一个随机过程,所以它可能不会每次都给予15%。

y3bcpkx1

y3bcpkx12#

您可以取消列出data.frame,然后随机取样,然后放回data.frame中。

df <- unlist(df)
n <- length(df) * 0.15
df[sample(df, n)] <- NA
as.data.frame(matrix(df, ncol=3))

可以使用sample()以多种不同的方式完成。

hs1rzwqc

hs1rzwqc3#

如果你想使用purrr而不是lapply,你也可以这样做:

> library(purrr)
> df <- data.frame(A = 1:10, B = 11:20, C = 21:30)
> df
    A  B  C
1   1 11 21
2   2 12 22
3   3 13 23
4   4 14 24
5   5 15 25
6   6 16 26
7   7 17 27
8   8 18 28
9   9 19 29
10 10 20 30
> map_df(df, function(x) {x[sample(c(TRUE, NA), prob = c(0.8, 0.2), size = length(x), replace = TRUE)]})
# A tibble: 10 x 3
       A     B     C
   <int> <int> <int>
1      1    11    21
2      2    12    22
3     NA    13    NA
4      4    14    NA
5      5    15    25
6      6    16    26
7      7    17    27
8      8    NA    28
9      9    19    29
10    10    20    30
bis0qfac

bis0qfac4#

我建议使用第一个函数(ggNAadd)来实现这一点,并使用第二个函数(ggNA)来改进它,该函数提供所创建的NA的图形分布
什么是整洁的是输入固定数量的NA的比例的可能性。

ggNAadd = function(data, amount, plot=F){
  temp <- data
  amount2 <- ifelse(amount<1, round(prod(dim(data))*amount), amount)
  if (amount2 >= prod(dim(data))) stop("exceeded data size")
  for (i in 1:amount2) temp[sample.int(nrow(temp), 1), sample.int(ncol(temp), 1)] <- NA
  if (plot) print(ggNA(temp))
  return(temp)
}

以及绘图功能:

ggNA = function(data, alpha=0.5){
  require(ggplot2)
  DF <- data
  if (!is.matrix(data)) DF <- as.matrix(DF)
  to.plot <- cbind.data.frame('y'=rep(1:nrow(DF), each=ncol(DF)), 
                              'x'=as.logical(t(is.na(DF)))*rep(1:ncol(DF), nrow(DF)))
  size <- 20 / log( prod(dim(DF)) )  # size of point depend on size of table
  g <- ggplot(data=to.plot) + aes(x,y) +
    geom_point(size=size, color="red", alpha=alpha) +
    scale_y_reverse() + xlim(1,ncol(DF)) +
    ggtitle("location of NAs in the data frame") +
    xlab("columns") + ylab("lines")
  pc <- round(sum(is.na(DF))/prod(dim(DF))*100, 2) # % NA
  print(paste("percentage of NA data: ", pc))
  return(g)
}

这给出(使用ggplot2作为图形输出):

ggNAadd(df, amount=0.20, plot=TRUE)
## [1] "percentage of NA data:  20"
##     A  B  c
## 1   1 11 21
## 2   2 12 22
## 3   3 13 23
## 4   4 NA 24
## ..

当然,如前所述,如果你问太多的NA,实际的百分比会因为重复而下降。

iovurdzv

iovurdzv5#

使用二项分布的结果相同:

dd=dim(df)
nna=20/100 #overall
df1<-df
df1[matrix(rbinom(prod(dd), size=1,prob=nna)==1,nrow=dd[1])]<-NA
df1
vfwfrxfs

vfwfrxfs6#

mutate_all方法:

df %>% 
  dplyr::mutate_all(~ifelse(sample(c(TRUE, FALSE), size = length(.), replace = TRUE, prob = c(0.8, 0.2)),
         as.character(.), NA))
z3yyvxxp

z3yyvxxp7#

还有collapse::na_insert,它是在列上矢量化的,而且非常快:

collapse::na_insert(df, prop = .2)

基准:

microbenchmark::microbenchmark(
  lapply = as.data.frame(lapply(df, function(cc) cc[ sample(c(TRUE, NA), prob = c(0.8, 0.2), size = length(cc), replace = TRUE) ])),
  collapse = collapse::na_insert(df, prop = .2), 
  matrix = {df <- unlist(df)
  n <- length(df) * 0.15
  df[sample(df, n)] <- NA
  as.data.frame(matrix(df, ncol=3))}
)

#Unit: microseconds
#     expr      min        lq       mean    median        uq       max neval
#   lapply 1662.001 1993.2515 3882.82004 3276.5515 4339.7010 16854.700   100
# collapse    7.900   17.5505   33.16901   27.1005   44.8015    94.801   100
#   matrix   39.402   66.1515  103.34798   93.1010  130.5505   327.501   100

相关问题