IIUC，您可以用途：

dfx=df.groupby('ID').agg(list)
max_list_lenght=len(dfx.max()[0])
final=pd.DataFrame(dfx.apply(lambda x: [x[i][j] if len(x[i]) > j else 0 for j in range(0,max_list_lenght) for i in dfx.columns],axis=1).tolist(), index=dfx.index)
final.columns=['dat' + str(i) for i in range(1,len(final.columns) + 1)]

输出：

dat1  dat2  dat3  dat4  dat5  dat6
ID                                    
1      9     3     6     5     7     7
2      5     5     5     6     5     5
3      3     0     5     0     0     0

join是您需要的。如果您不想丢失任何行，请指定how='outer'。

df1.set_index('ID').join(df2.set_index('ID'), how='outer')