Pandas左外连接导致表大于左表

ohfgkhjo  于 2023-03-06  发布在  其他
关注(0)|答案(6)|浏览(156)

根据我对左外连接的理解,结果表的行数永远不应该超过左表的行数...如果这是错误的,请告诉我...
我左边的表是192572行和8列。
我右边的表是42160行和5列。
我的左表有一个名为“id”的字段,它与我的右表中名为“key”的列匹配。
因此,我将它们合并如下:

combined = pd.merge(a,b,how='left',left_on='id',right_on='key')

但组合后的形状是236569。
我误解什么了?

5t7ly7z5

5t7ly7z51#

如果键与另一个DataFrame中的多行匹配,则此值可能会增加:

In [11]: df = pd.DataFrame([[1, 3], [2, 4]], columns=['A', 'B'])

In [12]: df2 = pd.DataFrame([[1, 5], [1, 6]], columns=['A', 'C'])

In [13]: df.merge(df2, how='left')  # merges on columns A
Out[13]: 
   A  B   C
0  1  3   5
1  1  3   6
2  2  4 NaN

为了避免df2中的drop the duplicates出现这种情况:

In [21]: df2.drop_duplicates(subset=['A'])  # you can use take_last=True
Out[21]: 
   A  C
0  1  5

In [22]: df.merge(df2.drop_duplicates(subset=['A']), how='left')
Out[22]: 
   A  B   C
0  1  3   5
1  2  4 NaN
qf9go6mv

qf9go6mv2#

对给定答案的一点补充是,有一个名为validate的参数,如果在右表中匹配了重复的ID,则可以使用该参数抛出错误:

combined = pd.merge(a,b,how='left',left_on='id',right_on='key', validate = 'm:1')
9gm1akwq

9gm1akwq3#

您还可以使用一些策略来避免这种行为,例如,如果不是所有列都重复,则不会丢失重复的数据。

In [1]: df = pd.DataFrame([[1, 3], [2, 4]], columns=['A', 'B'])

In [2]: df2 = pd.DataFrame([[1, 5], [1, 6]], columns=['A', 'C'])

一种方法是取重复样本的平均值(也可以取总和,等等......)

In [3]: df3 = df2.groupby('A').mean().reset_index()

In [4]: df3
Out[4]: 
     C
A     
1  5.5

In [5]: merged = pd.merge(df,df3,on=['A'], how='outer')

In [6]: merged
Out[204]: 
   A  B    C
0  1  3  5.5
1  2  4  NaN

或者,如果您有非数值数据无法使用pd.to_numeric()进行转换,或者如果您只是不想取平均值,则可以通过枚举重复项来更改合并变量。但是,当两个数据集中存在重复项时,此策略将适用(这将导致相同的问题行为,也是一个常见问题):

In [7]: df = pd.DataFrame([['a', 3], ['b', 4],['b',0]], columns=['A', 'B'])

In [8]: df2 = pd.DataFrame([['a', 3], ['b', 8],['b',5]], columns=['A', 'C'])

In [9]: df['count'] = df.groupby('A')['B'].cumcount()

In [10]: df['A'] = np.where(df['count']>0,df['A']+df['count'].astype(str),df['A'].astype(str))

In[11]: df
Out[11]: 
    A  B  count
0   a  3      0
1   b  4      0
2  b1  0      1

对df2执行相同的操作,删除df和df2中的count变量,并在“A”上合并:

In [16]: merged
Out[16]: 
    A  B  C
0   a  3  3        
1   b  4  8        
2  b1  0  5

需要注意的是,在最后一种情况下,我使用.cumcount()而不是.duplicated,因为在这种情况下,给定的观察结果可能有多个副本。另外,我使用.astype(str)将计数值转换为字符串,因为我使用了np.where()命令,但使用pd.concat()或其他命令可能会允许不同的应用程序。
最后,如果只有一个数据集有重复项,但您仍然希望保留它们,那么您可以使用后一种策略的前半部分来区分合并结果中的重复项。

5gfr0r5j

5gfr0r5j4#

可能有多个条目具有相同的键值。请确保右表中的键没有重复项。

# One workaround could be remove duplicates from right table w.r.t key.

combined = pd.merge(a.reset_index(),b.drop_duplicates(['key']),how='left',left_on='id',right_on='key')
d6kp6zgx

d6kp6zgx5#

要解决此问题,请在LEFT DataFrame中创建一个Unique INDEX列,以便在准备好“Merged Dataframe”后跟踪此“INDEX”列的“Duplicates”。
1.左侧_df ['索引'] =左侧_df索引+1
1.左轮廓形状
1.合并_df = pd.merge(左侧_df,右侧_df,如何=“左侧”,打开=“公共列”)

  1. LEFT_df ['索引'].重复().求和()
  2. Merged_df =合并的df.删除重复项(子集=['索引'],保留='第一个')
  3. Merged_df.shape(现在将与LEFT_df.shape匹配)
evrscar2

evrscar26#

在您的情况下使用drop_duplicates将是:

merged = pd.merge(df,df3,on=['A'], how='outer').drop_duplicates()

相关问题