同时合并列表中的多个 Dataframe

uujelgoq  于 2022-12-06  发布在  其他
关注(0)|答案(9)|浏览(227)

我有一个包含许多要合并的数据.框架的列表。这里的问题是,每个数据.框架的行数和列数都不同,但它们都共享关键变量(我在下面的代码中将其称为"var1""var2")。如果 Dataframe 在列方面是相同的,我可以只使用rbind,plyr的rbind.fill可以完成这项工作,但这些数据的情况并非如此。
因为merge命令只对2个 Dataframe 有效,所以我求助于互联网,我从here那里得到了这个命令,它在R 2.7.2中运行得很好,这就是我当时所拥有的:

merge.rec <- function(.list, ...){
    if(length(.list)==1) return(.list[[1]])
    Recall(c(list(merge(.list[[1]], .list[[2]], ...)), .list[-(1:2)]), ...)
}

我会这样调用这个函数:

df <- merge.rec(my.list, by.x = c("var1", "var2"), 
                by.y = c("var1", "var2"), all = T, suffixes=c("", ""))

但在2.7.2之后的任何R版本(包括2.11和2.12)中,此代码将失败,并出现以下错误:

Error in match.names(clabs, names(xi)) : 
  names do not match previous names

(偶然地,我看到其他参考这个错误elsewhere没有解决)。
有什么办法解决这个问题吗?

xnifntxz

xnifntxz1#

另一个问题专门问how to perform multiple left joins using dplyr in R。这个问题被标记为这个问题的重复,所以我在这里回答,使用下面的3个样本 Dataframe :

x <- data.frame(i = c("a","b","c"), j = 1:3, stringsAsFactors=FALSE)
y <- data.frame(i = c("b","c","d"), k = 4:6, stringsAsFactors=FALSE)
z <- data.frame(i = c("c","d","a"), l = 7:9, stringsAsFactors=FALSE)

答案分为三个部分,分别代表执行合并的三种不同方式。如果您已经在使用tidyverse包,您可能希望使用purrr方式。为了便于比较,您将在下面找到使用相同示例数据集的基本R版本。

1)将它们与purrr软件包中的reduce连接在一起:

purrr包提供了一个reduce函数,该函数具有简洁的语法:

library(tidyverse)
list(x, y, z) %>% reduce(left_join, by = "i")
#  A tibble: 3 x 4
#  i       j     k     l
#  <chr> <int> <int> <int>
# 1 a      1    NA     9
# 2 b      2     4    NA
# 3 c      3     5     7

您也可以执行其他链接,例如full_joininner_join

list(x, y, z) %>% reduce(full_join, by = "i")
# A tibble: 4 x 4
# i       j     k     l
# <chr> <int> <int> <int>
# 1 a     1     NA     9
# 2 b     2     4      NA
# 3 c     3     5      7
# 4 d     NA    6      8

list(x, y, z) %>% reduce(inner_join, by = "i")
# A tibble: 1 x 4
# i       j     k     l
# <chr> <int> <int> <int>
# 1 c     3     5     7

2)dplyr::left_join(),以R为底数Reduce()

list(x,y,z) %>%
    Reduce(function(dtf1,dtf2) left_join(dtf1,dtf2,by="i"), .)

#   i j  k  l
# 1 a 1 NA  9
# 2 b 2  4 NA
# 3 c 3  5  7

3)底座R merge()与底座R Reduce()

为了便于比较,这里是一个基于R的左连接,它基于Charles的答案。

Reduce(function(dtf1, dtf2) merge(dtf1, dtf2, by = "i", all.x = TRUE),
        list(x,y,z))
#   i j  k  l
# 1 a 1 NA  9
# 2 b 2  4 NA
# 3 c 3  5  7
8wtpewkr

8wtpewkr2#

Reduce使此操作变得相当简单:

merged.data.frame = Reduce(function(...) merge(..., all=T), list.of.data.frames)

下面是一个使用一些模拟数据的完整示例:

set.seed(1)
list.of.data.frames = list(data.frame(x=1:10, a=1:10), data.frame(x=5:14, b=11:20), data.frame(x=sample(20, 10), y=runif(10)))
merged.data.frame = Reduce(function(...) merge(..., all=T), list.of.data.frames)
tail(merged.data.frame)
#    x  a  b         y
#12 12 NA 18        NA
#13 13 NA 19        NA
#14 14 NA 20 0.4976992
#15 15 NA NA 0.7176185
#16 16 NA NA 0.3841037
#17 19 NA NA 0.3800352

下面是一个使用these data复制my.list的示例:

merged.data.frame = Reduce(function(...) merge(..., by=match.by, all=T), my.list)
merged.data.frame[, 1:12]

#  matchname party st district chamber senate1993 name.x v2.x v3.x v4.x senate1994 name.y
#1   ALGIERE   200 RI      026       S         NA   <NA>   NA   NA   NA         NA   <NA>
#2     ALVES   100 RI      019       S         NA   <NA>   NA   NA   NA         NA   <NA>
#3    BADEAU   100 RI      032       S         NA   <NA>   NA   NA   NA         NA   <NA>

注意:看起来这可能是merge中的一个bug。问题是没有检查添加后缀(以处理重叠的不匹配名称)实际上是否使它们唯一。在某个点上,它使用[.data.frame,这 * 会 * make.unique名称,导致rbind失败。

# first merge will end up with 'name.x' & 'name.y'
merge(my.list[[1]], my.list[[2]], by=match.by, all=T)
# [1] matchname    party        st           district     chamber      senate1993   name.x      
# [8] votes.year.x senate1994   name.y       votes.year.y
#<0 rows> (or 0-length row.names)
# as there is no clash, we retain 'name.x' & 'name.y' and get 'name' again
merge(merge(my.list[[1]], my.list[[2]], by=match.by, all=T), my.list[[3]], by=match.by, all=T)
# [1] matchname    party        st           district     chamber      senate1993   name.x      
# [8] votes.year.x senate1994   name.y       votes.year.y senate1995   name         votes.year  
#<0 rows> (or 0-length row.names)
# the next merge will fail as 'name' will get renamed to a pre-existing field.

最简单的修复方法是不要将重复字段(此处有许多重复字段)的字段重命名保留到merge。例如:

my.list2 = Map(function(x, i) setNames(x, ifelse(names(x) %in% match.by,
      names(x), sprintf('%s.%d', names(x), i))), my.list, seq_along(my.list))

merge/Reduce将正常工作。

ia2d9nvy

ia2d9nvy3#

您可以使用reshape包中的merge_all来完成此操作。

reshape::merge_all(list_of_dataframes, ...)

Here is an excellent resource on different methods to merge data frames

5uzkadbs

5uzkadbs4#

你可以使用递归来完成这个任务。我还没有验证下面的内容,但是它应该会给予你一个正确的想法:

MergeListOfDf = function( data , ... )
{
    if ( length( data ) == 2 ) 
    {
        return( merge( data[[ 1 ]] , data[[ 2 ]] , ... ) )
    }    
    return( merge( MergeListOfDf( data[ -1 ] , ... ) , data[[ 1 ]] , ... ) )
}
deyfvvtc

deyfvvtc5#

我们可以使用{powerjoin}。
从已接受的答案中借用示例数据:

x <- data.frame(i = c("a","b","c"), j = 1:3, stringsAsFactors=FALSE)
y <- data.frame(i = c("b","c","d"), k = 4:6, stringsAsFactors=FALSE)
z <- data.frame(i = c("c","d","a"), l = 7:9, stringsAsFactors=FALSE)

library(powerjoin)
power_full_join(list(x,y,z), by = "i")
#>   i  j  k  l
#> 1 a  1 NA  9
#> 2 b  2  4 NA
#> 3 c  3  5  7
#> 4 d NA  6  8

power_left_join(list(x,y,z), by = "i")
#>   i j  k  l
#> 1 a 1 NA  9
#> 2 b 2  4 NA
#> 3 c 3  5  7

也可以从 Dataframe 开始,然后连接 Dataframe 列表,以获得相同的结果

power_full_join(x, list(y,z), by = "i")
#>   i  j  k  l
#> 1 a  1 NA  9
#> 2 b  2  4 NA
#> 3 c  3  5  7
#> 4 d NA  6  8
vhmi4jdf

vhmi4jdf6#

我将重用来自@PaulRougieux的数据示例

x <- data_frame(i = c("a","b","c"), j = 1:3)
y <- data_frame(i = c("b","c","d"), k = 4:6)
z <- data_frame(i = c("c","d","a"), l = 7:9)

下面是一个使用purrrtidyr的简洁的解决方案

library(tidyverse)

 list(x, y, z) %>% 
  map_df(gather, key=key, value=value, -i) %>% 
  spread(key, value)
56lgkhnf

56lgkhnf7#

我有一个没有公共id列的 Dataframe 列表。
我在许多DFS上丢失了数据。有空值。 Dataframe 是用表函数产生的。Reduce,Merging,rbind,rbind.fill,以及它们的类似函数不能帮助我达到我的目标。我的目标是产生一个可理解的合并 Dataframe ,与丢失的数据和公共id列无关。
因此,我做了下面的函数。也许这个函数可以帮助别人。

##########################################################
####             Dependencies                        #####
##########################################################

# Depends on Base R only

##########################################################
####             Example DF                          #####
##########################################################

# Example df
ex_df           <- cbind(c( seq(1, 10, 1), rep("NA", 0), seq(1,10, 1) ), 
                         c( seq(1, 7, 1),  rep("NA", 3), seq(1, 12, 1) ), 
                         c( seq(1, 3, 1),  rep("NA", 7), seq(1, 5, 1), rep("NA", 5) ))

# Making colnames and rownames
colnames(ex_df) <- 1:dim(ex_df)[2]
rownames(ex_df) <- 1:dim(ex_df)[1]

# Making an unequal list of dfs, 
# without a common id column
list_of_df      <- apply(ex_df=="NA", 2, ( table) )

它遵循的功能

##########################################################
####             The function                        #####
##########################################################

# The function to rbind it
rbind_null_df_lists <- function ( list_of_dfs ) {
  length_df     <- do.call(rbind, (lapply( list_of_dfs, function(x) length(x))))
  max_no        <- max(length_df[,1])
  max_df        <- length_df[max(length_df),]
  name_df       <- names(length_df[length_df== max_no,][1])
  names_list    <- names(list_of_dfs[ name_df][[1]])

  df_dfs <- list()
  for (i in 1:max_no ) {

    df_dfs[[i]]            <- do.call(rbind, lapply(1:length(list_of_dfs), function(x) list_of_dfs[[x]][i]))

  }

  df_cbind               <- do.call( cbind, df_dfs )
  rownames( df_cbind )   <- rownames (length_df)
  colnames( df_cbind )   <- names_list

  df_cbind

}

运行示例

##########################################################
####             Running the example                 #####
##########################################################

rbind_null_df_lists ( list_of_df )
pbwdgjma

pbwdgjma8#

如果您有一个DFS列表,并且某个列包含“ID”,但在某些列表中,某些ID丢失,则可以使用此版本的“减少/合并”来连接丢失行ID或标签的多个DFS:

Reduce(function(x, y) merge(x=x, y=y, by="V1", all.x=T, all.y=T), list_of_dfs)
yzxexxkh

yzxexxkh9#

这里是一个通用的 Package 器,它可以用来将一个二进制函数转换成多参数函数。这个解决方案的好处是它非常通用,可以应用于任何二进制函数。你只需要做一次,然后你可以在任何地方应用它。
为了演示这个想法,我使用简单的递归来实现。当然,它可以用更优雅的方式来实现,这得益于R对函数式范例的良好支持。

fold_left <- function(f) {
return(function(...) {
    args <- list(...)
    return(function(...){
    iter <- function(result,rest) {
        if (length(rest) == 0) {
            return(result)
        } else {
            return(iter(f(result, rest[[1]], ...), rest[-1]))
        }
    }
    return(iter(args[[1]], args[-1]))
    })
})}

然后,您可以简单地用它 Package 任何二进制函数,并使用第一个括号中的位置参数(通常是data.frames)和第二个括号中的命名参数(例如by =suffix =)调用。如果没有命名参数,请将第二个括号留空。

merge_all <- fold_left(merge)
merge_all(df1, df2, df3, df4, df5)(by.x = c("var1", "var2"), by.y = c("var1", "var2"))

left_join_all <- fold_left(left_join)
left_join_all(df1, df2, df3, df4, df5)(c("var1", "var2"))
left_join_all(df1, df2, df3, df4, df5)()

相关问题