如何删除索引值重复的行?
在下面的天气数据框中,有时科学家会返回并纠正观测结果--不是通过编辑错误的行,而是通过在文件末尾追加一个重复的行。
我正在从Web上阅读一些自动化的天气数据(每5分钟进行一次观测,并编译成每个气象站的月度文件)。解析文件后,DataFrame如下所示:
Sta Precip1hr Precip5min Temp DewPnt WindSpd WindDir AtmPress
Date
2001-01-01 00:00:00 KPDX 0 0 4 3 0 0 30.31
2001-01-01 00:05:00 KPDX 0 0 4 3 0 0 30.30
2001-01-01 00:10:00 KPDX 0 0 4 3 4 80 30.30
2001-01-01 00:15:00 KPDX 0 0 3 2 5 90 30.30
2001-01-01 00:20:00 KPDX 0 0 3 2 10 110 30.28
重复病例示例:
import pandas as pd
import datetime
startdate = datetime.datetime(2001, 1, 1, 0, 0)
enddate = datetime.datetime(2001, 1, 1, 5, 0)
index = pd.date_range(start=startdate, end=enddate, freq='H')
data1 = {'A' : range(6), 'B' : range(6)}
data2 = {'A' : [20, -30, 40], 'B' : [-50, 60, -70]}
df1 = pd.DataFrame(data=data1, index=index)
df2 = pd.DataFrame(data=data2, index=index[:3])
df3 = df2.append(df1)
df3
A B
2001-01-01 00:00:00 20 -50
2001-01-01 01:00:00 -30 60
2001-01-01 02:00:00 40 -70
2001-01-01 03:00:00 3 3
2001-01-01 04:00:00 4 4
2001-01-01 05:00:00 5 5
2001-01-01 00:00:00 0 0
2001-01-01 01:00:00 1 1
2001-01-01 02:00:00 2 2
所以我需要df3
最终变成:
A B
2001-01-01 00:00:00 0 0
2001-01-01 01:00:00 1 1
2001-01-01 02:00:00 2 2
2001-01-01 03:00:00 3 3
2001-01-01 04:00:00 4 4
2001-01-01 05:00:00 5 5
我原以为添加一列行号(df3['rownum'] = range(df3.shape[0])
)可以帮助我为DatetimeIndex
的任何值选择最下面的行,但我一直在寻找group_by
或pivot
(或???)语句来实现这一点。
7条答案
按热度按时间kq4fsx7k1#
我建议对Pandas指数本身使用duplicated方法:
虽然所有其他方法都可以工作,但
.drop_duplicates
是所提供示例中性能最差的,而且,虽然groupby method的性能稍差,但我发现复制的方法更具可读性。使用提供的示例数据:
注意,您可以通过将keep参数更改为
'last'
来保留最后一个元素。还应注意,此方法也适用于
MultiIndex
(使用Paul's example中指定的df1):rur96b6h2#
这会将索引添加为DataFrame列,删除其上的重复项,然后移除新列:
注意,在末尾使用上面的
.sort_index()
是根据需要的,并且是可选的。2mbi3lxu3#
天啊。这其实很简单!
后续编辑2013-10-29在我有一个相当复杂的
MultiIndex
的情况下,我想我更喜欢groupby
方法。这才是最重要的
5tmbdcev4#
删除重复项(保留在前)
删除重复项(保留最后)
测试:使用OP数据的10k循环
ioekq8ef5#
不幸的是,我不认为Pandas允许一个下降的指数。我会建议如下:
bmp9r5qi6#
如果像我一样的人喜欢使用Pandas点符号进行可链接的数据操作(如管道),那么下面的代码可能会很有用:
这将启用如下链接语句:
ohtdti5x7#
我有过同样的错误经历,在深入研究每个df之后,发现其中一个有2个同名的列,你提到你删除了一些列,这可能是一个原因。