感谢@cs95的帮助，当我们对值排序时，默认情况下NaN被放在排序组的末尾，如果不完整的记录中有一个与现有值重复的值，而不是这个NaN，它会在NaN的正上方结束。这意味着我们可以用ffill()方法用那个值填充NaN。用最接近的行的数据重新填充缺失的数据，这样我们就可以更准确地判断该行是否重复。
我最终使用的代码（根据这个可重现的示例进行了调整）如下所示：

#printing all duplicates
col_list = ['foo', 'def', 'abc', 'bar']
show_mask = df.sort_values(col_list).ffill().duplicated(col_list, keep=False).sort_index()
df[show_mask].sort_values(col_list)

#deleting duplicates, but keeping one record per duplicate group
delete_mask = df.sort_values(col_list).ffill().duplicated(col_list).sort_index()
df = df[~delete_mask].reset_index(drop=True)

可以使用bfill()代替ffill()，因为这是颠倒应用的相同原理，但需要将方法的一些默认参数改为相反的参数，即na_position='first'和keep='last'。sort_index()只是用来消除重新索引警告。
请注意，列的顺序非常重要，因为它用于排序优先级。要确保缺失值上方的记录是要复制的正确值，必须先枚举所有没有缺失值的列。并且只有那些具有多样性的列。对于前一列，顺序并不重要。对于后一列，从具有最多多样性的列开始是至关重要的/特定值，并以最少多样性/特定值结尾（float -〉int -〉string -〉bool是一个很好的经验法则，但它在很大程度上取决于列在数据集中表示的变量的确切类型）。在本例中，它们都是相同的，但即使在这里，如果您将'bar'放在'abc'之前，也不会得到正确的答案。
即便如此，这也不是一个完美的解决方案。它做得很好，将记录的最完整版本放在顶部，并在需要时将其中的信息转移到下面不太完整的版本。但也有可能记录的完全完整版本根本不存在。例如，假设有记录[53 Nans 8]和[5 NaN 98]（也没有[5 3 9 8]记录），这个方案不能让他们交换丢失的片段，它会在前者中放入9，但在后者中NaN将保持为空，并且将导致这些副本不被注意。
如果只处理一个不完整的列，这不是问题，但是每添加一个不完整的列都会使这种情况越来越频繁。然而，添加所有列仍然是更可取的，因为未能检测到一些重复总比列表中出现一些虚假重复要好，除非使用所有列，否则这种可能性很大。

很抱歉打扰您，但恐怕您的代码并不总是像预期的那样工作。
下面是一个例子：

column_list = ['c1','c2','c3']
data = [
    [1,2,3],
    [np.nan,2,3],
    [1,np.nan,3],
    [2,3,4],
    [1,1,1],
    [1,2,3],
]

df = pd.DataFrame(
    columns=column_list,
    data=data)
df

+----+------+------+------+
|    |   c1 |   c2 |   c3 |
|----+------+------+------|
|  0 |    1 |    2 |    3 |
|  1 |  nan |    2 |    3 |
|  2 |    1 |  nan |    3 |
|  3 |    2 |    3 |    4 |
|  4 |    1 |    1 |    1 |
|  5 |    1 |    2 |    3 |
+----+------+------+------+

sorted_df = df.sort_values(column_list)
mask = sorted_df.ffill().duplicated(column_list).sort_index()
df[np.logical_not(mask)]

结果：

+----+------+------+------+
|    |   c1 |   c2 |   c3 |
|----+------+------+------|
|  0 |    1 |    2 |    3 |
|  1 |  nan |    2 |    3 |
|  3 |    2 |    3 |    4 |
|  4 |    1 |    1 |    1 |
+----+------+------+------+