您可以对groupby.apply使用自定义聚合：

out = (df
   .groupby('main key')
   .apply(lambda g: g.set_index('name')['value'].to_dict()
                    if g['name'].notna().all() else
                    ', '.join(g['value'])
         )
   .reset_index(name='dataAggregated')
)

输出：

main key                                          dataAggregated
0       123  {'abc': 'Value 1', 'def': 'Value 2', 'ghi': 'Value 3'}
1       147                                                 Value 7
2       456                                      {'abc': 'Value 4'}
3       789                                        Value 5, Value 6