如何使用索引将Pandas Dataframe 写入SQLite

xe55xuns  于 2022-11-15  发布在  SQLite
关注(0)|答案(5)|浏览(184)

我有一个用Pandas数据框(见下文格式)从雅虎拉来的股市数据清单。该日期用作DataFrame中的索引。我想将数据(包括索引)写出到一个SQLite数据库。

AAPL     GE
Date
2009-01-02  89.95  14.76
2009-01-05  93.75  14.38
2009-01-06  92.20  14.58
2009-01-07  90.21  13.93
2009-01-08  91.88  13.95

根据我对Pandas的WRITE_FRAME代码的阅读,它目前不支持写入索引。我尝试改用TO_RECORDS,但遇到了issue with Numpy 1.6.2 and datetimes。现在,我试图使用.itertuples编写元组,但SQLite抛出一个错误,指出该数据类型不受支持(请参见下面的代码和结果)。我对Python、Pandas和Numpy比较陌生,所以我完全有可能遗漏了一些明显的东西。我认为我在尝试将DateTime写入SQLite时遇到了一个问题,但我认为我可能把这个问题复杂化了。
我想我“也许”能够通过升级到Numpy 1.7或Pandas的开发版本来解决这个问题,后者在GitHub上发布了修复程序。我更喜欢使用软件的发布版本进行开发--我对此还是个新手,我不想让稳定性问题进一步让事情变得混乱。
有没有办法使用Python2.7.2、Pandas 0.10.0和Numpy 1.6.2来实现这一点?也许用某种方式清理了约会时间?我有点力不从心,任何帮助都将不胜感激。

代码:

import numpy as np
import pandas as pd
from pandas import DataFrame, Series
import sqlite3 as db

# download data from yahoo
all_data = {}

for ticker in ['AAPL', 'GE']:
    all_data[ticker] = pd.io.data.get_data_yahoo(ticker, '1/1/2009','12/31/2012')

# create a data frame
price = DataFrame({tic: data['Adj Close'] for tic, data in all_data.iteritems()})

# get output ready for database export
output = price.itertuples()
data = tuple(output)

# connect to a test DB with one three-column table titled "Demo"
con = db.connect('c:/Python27/test.db')
wildcards = ','.join(['?'] * 3)
insert_sql = 'INSERT INTO Demo VALUES (%s)' % wildcards
con.executemany(insert_sql, data)

结果:

---------------------------------------------------------------------------
InterfaceError                            Traceback (most recent call last)
<ipython-input-15-680cc9889c56> in <module>()
----> 1 con.executemany(insert_sql, data)

InterfaceError: Error binding parameter 0 - probably unsupported type.
gc0ot86w

gc0ot86w1#

在最近的Pandas中,索引将保存在数据库中(您过去必须先reset_index)。
遵循文档(在内存中设置SQLite连接):

import sqlite3
# Create your connection.
cnx = sqlite3.connect(':memory:')
  • 注:您也可以在此处传递一个SQLAlChemy引擎(参见答案末尾)。*

我们可以将price2保存到cnx

price2.to_sql(name='price2', con=cnx)

我们可以通过read_sql检索:

p2 = pd.read_sql('select * from price2', cnx)

但是,当存储(和检索)**日期时,日期是unicode**而不是Timestamp。要转换回我们开始的内容,我们可以使用pd.to_datetime

p2.Date = pd.to_datetime(p2.Date)
p = p2.set_index('Date')

我们得到与prices相同的DataFrame:

In [11]: p2
Out[11]: 
<class 'pandas.core.frame.DataFrame'>
DatetimeIndex: 1006 entries, 2009-01-02 00:00:00 to 2012-12-31 00:00:00
Data columns:
AAPL    1006  non-null values
GE      1006  non-null values
dtypes: float64(2)

您还可以使用SQLAlchemy engine

from sqlalchemy import create_engine
e = create_engine('sqlite://')  # pass your db url

price2.to_sql(name='price2', con=cnx)

这允许您使用read_sql_table(它只能与SQLAlChemy一起使用):

pd.read_sql_table(table_name='price2', con=e)
#         Date   AAPL     GE
# 0 2009-01-02  89.95  14.76
# 1 2009-01-05  93.75  14.38
# 2 2009-01-06  92.20  14.58
# 3 2009-01-07  90.21  13.93
# 4 2009-01-08  91.88  13.95
w9apscun

w9apscun2#

不幸的是,就目前公认的答案而言,pandas.io.write_frame不再存在于较新版本的Pandas中。例如,我使用的是Pandas0.19.2。你可以做一些类似的事情

from sqlalchemy import create_engine

disk_engine = create_engine('sqlite:///my_lite_store.db')
price.to_sql('stock_price', disk_engine, if_exists='append')

然后依次使用以下内容预览表:

df = pd.read_sql_query('SELECT * FROM stock_price LIMIT 3',disk_engine)
df.head()
sc4hvdpw

sc4hvdpw3#

以下是为我工作的代码。我能够将其写入SQLite DB。

import pandas as pd
import sqlite3 as sq
data = <This is going to be your pandas dataframe>
sql_data = 'D:\\SA.sqlite' #- Creates DB names SQLite
conn = sq.connect(sql_data)
cur = conn.cursor()
cur.execute('''DROP TABLE IF EXISTS SA''')
data.to_sql('SA', conn, if_exists='replace', index=False) # - writes the pd.df to SQLIte DB
pd.read_sql('select * from SentimentAnalysis', conn)
conn.commit()
conn.close()
dphi5xsq

dphi5xsq4#

sqlite3最小示例

基于Keertesh Kumar's answer

将DF写入SQLite

import pandas as pd
import sqlite3 as sq

df = pd.DataFrame({'col1': [1, 2], 'col2': [3, 4]})
table_name = "test" # table and file name

conn = sq.connect('{}.sqlite'.format(table_name)) # creates file
df.to_sql(table_name, conn, if_exists='replace', index=False) # writes to file
conn.close() # good practice: close connection

读取SQLITE到DF

conn = sq.connect('{}.sqlite'.format(table_name))
df = pd.read_sql('select * from {}'.format(table_name), conn)
conn.close()
sz81bmfz

sz81bmfz5#

Pandasread_sql可以为您设置索引。
from Andy Hayden's answer above为例,而不是:

p2 = pd.read_sql('select * from price2', cnx)
# When stored (and retrieved) dates are unicode rather than Timestamp. 
# Convert back to what we started with we can use pd.to_datetime:
p2.Date = pd.to_datetime(p2.Date)
p2 = p2.set_index('Date')

您可以简单地执行以下操作:

p2 = pd.read_sql('select * from price2', cnx, index_col='Date', parse_dates=['Date'])

这将自动将日期列设置为索引,并同时将其转换为时间戳。

相关问题