按DataFrameGroupBy.shift创建新列，然后按DataFrame.dropna删除food_next中缺少值的行：

df = (df_seq.assign(food_next = df_seq.groupby('person')['food'].shift(-1))
            .dropna(subset=['food_next']))
print (df)
  person  day  food food_next
0    Tom    1  beef      lamb
1    Tom    2  lamb   chicken
3   Lucy    1  fish      pork
4   Lucy    4  pork   venison

这可能是一个稍微不完整的答案，并且它不执行标准意义上的聚合。
首先，一个小的查询函数，给定名称和日期，将返回第一个与参数匹配的结果（假设数据是预先排序的），如果失败，则返回某个默认值：

def get_next_food(df, person, day):
    results = df.query(f"`person`=='{person}' and `day`>{day}")
    if len(results)>0:
        return results.iloc[0]['food']
    else:
        return "Mystery"

您可以按如下方式使用此选项：

get_food(df_seq,"Tom", 1)

> 'lamb'

现在，我们可以在一个apply语句中使用这个函数，用这个函数按行应用的结果填充一个新列：

df_seq['next_food']=df_seq.apply(lambda x : get_food(df_seq, x['person'], x['day']), axis=1)

>
  person  day     food next_food
0    Tom    1     beef      lamb
1    Tom    2     lamb   chicken
2    Tom    3  chicken   Mystery
3   Lucy    1     fish      pork
4   Lucy    4     pork   venison
5   Lucy    6  venison   Mystery

给予一下吧，我不相信你会看到巨大的性能改进，但它会很有趣的发现。