您可以使用groupby.agg将具有公共ID的行连接为字符串，并使用split + explode扩展到多行。最后merge这两个部分来对齐您的输出：

out = (
 df1.groupby('gene ids', as_index=False).agg(','.join)
    .merge((df2.assign(**{'gene ids': lambda d: d['gene ids'].str.split(r',\s*')}).explode('gene ids')
               .groupby('gene ids', as_index=False).agg(', '.join)
            ), how='left')
)

输出：

gene ids Go terms  MP terms      MP names
0      ID1  GO1,GO2  MP1, MP2  Name1, Name2
1      ID2  GO1,GO3  MP1, MP3  Name1, Name3
2      ID3      GO1       MP2         Name2
3      ID4      GO1       MP1         Name1

如果您对“MP names”列不感兴趣，请在第二个groupby.agg中切片：

out = (
 df1.groupby('gene ids', as_index=False).agg(','.join)
    .merge((df2.assign(**{'gene ids': lambda d: d['gene ids'].str.split(r',\s*')}).explode('gene ids')
               .groupby('gene ids', as_index=False)['MP terms'].agg(', '.join)
            ), how='left')
)

输出：

gene ids Go terms  MP terms
0      ID1  GO1,GO2  MP1, MP2
1      ID2  GO1,GO3  MP1, MP3
2      ID3      GO1       MP2
3      ID4      GO1       MP1

使用concat和GroupBy.agg的聚合以及join和df2中,拆分的DataFrame.explode值：

df = pd.concat([df2.assign(**{'gene ids': df2['gene ids'].str.split(',\s*')})
                   .explode('gene ids')
                   .groupby('gene ids')['MP terms'].agg(', '.join),
                df1.groupby('gene ids')['Go terms'].agg(', '.join)], axis=1).reset_index()
print (df)
  gene ids  MP terms  Go terms
0      ID1  MP1, MP2  GO1, GO2
1      ID2  MP1, MP3  GO1, GO3
2      ID3       MP2       GO1
3      ID4       MP1       GO1

如果需要按join聚合所有列，请用途：

df = pd.concat([df2.assign(**{'gene ids': df2['gene ids'].str.split(',\s*')})
                   .explode('gene ids')
                   .groupby('gene ids').agg(', '.join),
                df1.groupby('gene ids').agg(', '.join)], axis=1).reset_index()
print (df)
  gene ids  MP terms      MP names  Go terms
0      ID1  MP1, MP2  Name1, Name2  GO1, GO2
1      ID2  MP1, MP3  Name1, Name3  GO1, GO3
2      ID3       MP2         Name2       GO1
3      ID4       MP1         Name1       GO1