我有一个MySQL数据库,它的列是:
+--------------+--------------+------+-----+---------+----------------+
| Field | Type | Null | Key | Default | Extra |
+--------------+--------------+------+-----+---------+----------------+
| id | int unsigned | NO | PRI | NULL | auto_increment |
| artist | text | YES | | NULL | |
| title | text | YES | | NULL | |
| album | text | YES | | NULL | |
| duration | text | YES | | NULL | |
| artistlink | text | YES | | NULL | |
| songlink | text | YES | | NULL | |
| albumlink | text | YES | | NULL | |
| instrumental | tinyint(1) | NO | | 0 | |
| downloaded | tinyint(1) | NO | | 0 | |
| filepath | text | YES | | NULL | |
| language | json | YES | | NULL | |
| genre | json | YES | | NULL | |
| style | json | YES | | NULL | |
| artistgender | text | YES | | NULL | |
+--------------+--------------+------+-----+---------+----------------+
我需要从中提取数据并处理数据,然后将数据添加到PandasDataFrame中。
我知道如何从SQL数据库中提取数据,并且我已经实现了一种将数据传递给DataFrame的方法,但它非常慢(大约30秒),而当我使用命名元组的平面列表时,操作速度非常快(不到3秒)。
具体来说,filepath默认为NULL,除非文件被下载(目前没有歌曲被下载),当Python获得filepath时,值将为None,我需要该值变为''
。
因为MySQL没有BOOLEAN类型,所以我需要将收到的int
转换为bool
。
语言,流派,风格字段是以JSON列表形式存储的标签,它们当前都是NULL,当Python得到它们时,它们是字符串,我需要使用json.loads
将它们变成list
,除非它们是None,如果它们是None,我需要附加空列表。
这是我对问题的低效解决方案:
import json
import mysql.connector
from pandas import *
fields = {
"artist": str(),
"album": str(),
"title": str(),
"id": int(),
"duration": str(),
"instrumental": bool(),
"downloaded": bool(),
"filepath": str(),
"language": list(),
"genre": list(),
"style": list(),
"artistgender": str(),
"artistlink": str(),
"albumlink": str(),
"songlink": str(),
}
conn = mysql.connector.connect(
user="Estranger", password=PWD, host="127.0.0.1", port=3306, database="Music"
)
cursor = conn.cursor()
def proper(x):
return x[0].upper() + x[1:]
def fetchdata():
cursor.execute("select {} from songs".format(', '.join(list(fields))))
data = cursor.fetchall()
dataframes = list()
for item in data:
entry = list(map(proper, item[0:3]))
entry += [item[3]]
for j in range(4, 7):
cell = item[j]
if isinstance(cell, int):
entry.append(bool(cell))
elif isinstance(cell, str):
entry.append(cell)
if item[7] is not None:
entry.append(item[7])
else:
entry.append('')
for j in range(8, 11):
entry.append(json.loads(item[j])) if item[j] is not None else entry.append([])
entry.append(item[11])
entry += item[12:15]
df = DataFrame(fields, index=[])
row = Series(entry, index = df.columns)
df = df.append(row, ignore_index=True)
dataframes.append(df)
songs = concat(dataframes, axis=0, ignore_index=True)
songs.sort_values(['artist', 'album', 'title'], inplace=True)
return songs
目前数据库中有4464首歌曲,代码需要大约30秒才能完成。
我按艺术家和标题对SQL数据库进行了排序,我需要按艺术家、专辑和标题对QTreeWidget的条目进行重新排序,MySQL对数据的排序与Python不同,我更喜欢Python排序。
在我的测试中,df.loc
和df = df.append()
方法比较慢,pd.concat
比较快,但我真的不知道如何创建只有一行的 Dataframe ,并将平面列表传递给 Dataframe 而不是字典,是否有比pd.concat
更快的方法,或者for循环中的操作是否可以矢量化。
如何改进我的代码?
我知道了如何创建一个DataFrame,它包含一个列表列表并指定列名,而且速度快得多,但我仍然不知道如何优雅地指定数据类型而不引发代码错误...
def fetchdata():
cursor.execute("select {} from songs".format(', '.join(list(fields))))
data = cursor.fetchall()
for i, item in enumerate(data):
entry = list(map(proper, item[0:3]))
entry += [item[3]]
for j in range(4, 7):
cell = item[j]
if isinstance(cell, int):
entry.append(bool(cell))
elif isinstance(cell, str):
entry.append(cell)
if item[7] is not None:
entry.append(item[7])
else:
entry.append('')
for j in range(8, 11):
entry.append(json.loads(item[j])) if item[j] is not None else entry.append([])
entry.append(item[11])
entry += item[12:15]
data[i] = entry
songs = DataFrame(data, columns=list(fields), index=range(len(data)))
songs.sort_values(['artist', 'album', 'title'], inplace=True)
return songs
我仍然需要类型转换,它们已经相当快了,但是它们看起来并不优雅。
3条答案
按热度按时间wd2eg0qa1#
您可以为每一列创建一个转换函数列表:
现在,您可以应用转换每个字段值的函数
wfveoks02#
问题的第一部分,就通用数据库“历史”而言:
ldfqzlk83#