panda read_csv并使用usecols筛选列

jyztefdp 于 2023-02-06 发布在其他

关注(0)|答案(4)|浏览(139)

我有一个csv文件，当我用usecols过滤列并使用多个索引时，它不能正确地与pandas.read_csv一起进入。

import pandas as pd
csv = r"""dummy,date,loc,x
   bar,20090101,a,1
   bar,20090102,a,3
   bar,20090103,a,5
   bar,20090101,b,1
   bar,20090102,b,3
   bar,20090103,b,5"""

f = open('foo.csv', 'w')
f.write(csv)
f.close()

df1 = pd.read_csv('foo.csv',
        header=0,
        names=["dummy", "date", "loc", "x"], 
        index_col=["date", "loc"], 
        usecols=["dummy", "date", "loc", "x"],
        parse_dates=["date"])
print df1

# Ignore the dummy columns
df2 = pd.read_csv('foo.csv', 
        index_col=["date", "loc"], 
        usecols=["date", "loc", "x"], # <----------- Changed
        parse_dates=["date"],
        header=0,
        names=["dummy", "date", "loc", "x"])
print df2

我希望df1和df2除了缺少虚拟列之外应该是相同的，但是这些列的标签是错误的，并且日期被解析为日期。

In [118]: %run test.py
               dummy  x
date       loc
2009-01-01 a     bar  1
2009-01-02 a     bar  3
2009-01-03 a     bar  5
2009-01-01 b     bar  1
2009-01-02 b     bar  3
2009-01-03 b     bar  5
              date
date loc
a    1    20090101
     3    20090102
     5    20090103
b    1    20090101
     3    20090102
     5    20090103

使用列号而不是名称也会给予同样的问题。我可以通过在read_csv步骤之后删除虚拟列来解决这个问题，但我正在尝试理解问题出在哪里。我使用的是panda 0.10.1。
编辑：修正了错误的标题用法。

csv

来源：https://stackoverflow.com/questions/15017072/pandas-read-csv-and-filter-columns-with-usecols

4条答案

按热度按时间

uelo1irk1#

解决方案在于理解这两个关键字参数：

*names仅当文件中没有标题行，并且您希望使用列名而不是整数索引指定其他参数（如usecols）时才需要。
*usecols应该在将整个DataFrame读入内存之前提供过滤器;如果使用得当，在阅读之后应该永远不需要删除列。

因此，因为您有一个标题行，所以传递header=0就足够了，另外传递names似乎会混淆pd.read_csv。
从第二个调用中删除names将得到所需的输出：

import pandas as pd
from StringIO import StringIO

csv = r"""dummy,date,loc,x
bar,20090101,a,1
bar,20090102,a,3
bar,20090103,a,5
bar,20090101,b,1
bar,20090102,b,3
bar,20090103,b,5"""

df = pd.read_csv(StringIO(csv),
        header=0,
        index_col=["date", "loc"], 
        usecols=["date", "loc", "x"],
        parse_dates=["date"])

这就给了我们：

x
date       loc
2009-01-01 a    1
2009-01-02 a    3
2009-01-03 a    5
2009-01-01 b    1
2009-01-02 b    3
2009-01-03 b    5

赞(0）回复(0）举报 2023-02-06

mzillmmw2#

这段代码实现了您想要的---而且它很奇怪，而且肯定有错误：
我观察到它在以下情况下有效：
a）指定index_col相对于实际使用的列数--因此在本例中是三列，而不是四列（删除dummy并从那时起开始计数）
b）与parse_dates相同
c）对于usecols不是这样;）原因显而易见
d）这里我修改了names以反映此行为

import pandas as pd
from StringIO import StringIO

csv = """dummy,date,loc,x
bar,20090101,a,1
bar,20090102,a,3
bar,20090103,a,5
bar,20090101,b,1
bar,20090102,b,3
bar,20090103,b,5
"""

df = pd.read_csv(StringIO(csv),
        index_col=[0,1],
        usecols=[1,2,3], 
        parse_dates=[0],
        header=0,
        names=["date", "loc", "", "x"])

print df

其打印

x
date       loc   
2009-01-01 a    1
2009-01-02 a    3
2009-01-03 a    5
2009-01-01 b    1
2009-01-02 b    3
2009-01-03 b    5

赞(0）回复(0）举报 2023-02-06

4nkexdtk3#

如果csv文件包含额外的数据，则可以在导入后从DataFrame中删除列。

import pandas as pd
from StringIO import StringIO

csv = r"""dummy,date,loc,x
bar,20090101,a,1
bar,20090102,a,3
bar,20090103,a,5
bar,20090101,b,1
bar,20090102,b,3
bar,20090103,b,5"""

df = pd.read_csv(StringIO(csv),
        index_col=["date", "loc"], 
        usecols=["dummy", "date", "loc", "x"],
        parse_dates=["date"],
        header=0,
        names=["dummy", "date", "loc", "x"])
del df['dummy']

这就给了我们：

x
date       loc
2009-01-01 a    1
2009-01-02 a    3
2009-01-03 a    5
2009-01-01 b    1
2009-01-02 b    3
2009-01-03 b    5

赞(0）回复(0）举报 2023-02-06

kwvwclae4#

您只需添加index_col=False参数

df1 = pd.read_csv('foo.csv',
     header=0,
     index_col=False,
     names=["dummy", "date", "loc", "x"], 
     usecols=["dummy", "date", "loc", "x"],
     parse_dates=["date"])
  print df1

赞(0）回复(0）举报 2023-02-06

我来回答

panda read_csv并使用usecols筛选列

4条答案

相关问题

热门标签

最新问答