您希望pd.factorize位于每个model组（groupby）中的item上。重置部分仅为一个模：

df['serial'] = df.groupby(['model'])['item'].transform(lambda x: pd.factorize(x)[0]) % 3

输出：

model item  serial
0      A   aa       0
1      A   ab       1
2      A   ab       1
3      A   ab       1
4      A   ac       2
5      A   ad       0
6      A   ad       0
7      B   ba       0
8      B   ba       0
9      B   ba       0
10     B   bb       1
11     B   bb       1
12     B   bb       1
13     B   bc       2

将每一项与前一项进行比较，并应用一个累计和。剩下的是一个数学运算，以调整到您期望的输出（计数从0开始，不超过3）

to_serial = lambda x: x.ne(x.shift()).cumsum().sub(1).mod(3)
df['serial'] = df.groupby('model')['item'].transform(to_serial)
print(df)

# Output
   model item  serial
0      A   aa       0
1      A   ab       1
2      A   ab       1
3      A   ab       1
4      A   ac       2
5      A   ad       0
6      A   ad       0
7      B   ba       0
8      B   ba       0
9      B   ba       0
10     B   bb       1
11     B   bb       1
12     B   bb       1
13     B   bc       2

如果需要按item中的连续值计数，请使用用途：

df['serial'] = (df['item'].ne(df['item'].shift()).cumsum()
                          .groupby(df['model'])
                          .rank(method='dense').astype(int).sub(1).mod(3))

或者：
x一个一个一个一个x一个一个二个x