re.sub(r"\b(\w+(\s\w+)?)\b(?:.*?)(\b\1\b)", "\\1", sen, flags=re.IGNORECASE)
这应该是你想要的。和你分享的那个字符串匹配。

更新：

（@Markalex的有益评论之后。）
前面的正则表达式将捕获任何重复项，即使它们与被检查的字符串完全相反。这是一个更新的版本。

re.sub(r"(\b[a-zA-zàâäèéêëîïôœùûüÿçÀÂÄÈÉÊËÎÏÔŒÙÛÜŸÇ']+(?:\s[a-zAzàâäèéêëîïôœùûüÿçÀÂÄÈÉÊËÎÏÔŒÙÛÜŸÇ']+)?\b)(?:\W*)(\b\1\b)", "\\1", sen, flags=re.IGNORECASE)

说明：

(                                             #Begin 1st Capture Group
 \b                                           #Word Boundary
  [a-zA-zàâäèéêëîïôœùûüÿçÀÂÄÈÉÊËÎÏÔŒÙÛÜŸÇ']+  #Any of the characters you want, repeated
  (?:                                         #Begin Non-Capture Group, for additional word
   \s                                         #Whitespace
   [a-zA-zàâäèéêëîïôœùûüÿçÀÂÄÈÉÊËÎÏÔŒÙÛÜŸÇ']+ #Any of the characters you want, repeated
  )?                                          #End Non-Capture Group, Allow 0 or 1
 \b                                           #Word Boundary
)                                             #End 1st Capture Group

(?:                                           #Begin Non-Capture Group
 \W*                                          #Match any number of non-alphanumeric characters
)                                             #End Non-Capture Group

(                                             #Begin 2nd Capture Group
 \b                                           #Word Boundary
  \1                                          #Match 1st Capture Group
 \b                                           #Word Boundary
)                                             #End 2nd Capture Group

您可以使用以下模式，并使用 re.finditer 函数。
随后，您需要检查匹配是否包含逗号，其中您需要使用单独的 str.replace 语句。
我想不出一种方法来捕捉逗号。

([^ ]+ [^ ]+|[^ ]+),? \1

string = 'normalement on on on va, on va diviser, générique générique générique l''explication, générique l''explication détaille, détaille'
for match in re.finditer(r'([^ ]+ [^ ]+|[^ ]+),? \1', string):
    if ',' in match.group():
        string = string.replace(match.group(), match.group(1) + ',')
    else:
        string = string.replace(match.group(), match.group(1))

输出量

normalement on on va, diviser, générique générique lexplication, détaille,