Python 3 -我如何从SQL数据库中提取数据并处理数据,然后逐行追加到Pandas Dataframe 中?

bqf10yzr  于 2022-11-19  发布在  Python
关注(0)|答案(3)|浏览(152)

我有一个MySQL数据库,它的列是:

+--------------+--------------+------+-----+---------+----------------+
| Field        | Type         | Null | Key | Default | Extra          |
+--------------+--------------+------+-----+---------+----------------+
| id           | int unsigned | NO   | PRI | NULL    | auto_increment |
| artist       | text         | YES  |     | NULL    |                |
| title        | text         | YES  |     | NULL    |                |
| album        | text         | YES  |     | NULL    |                |
| duration     | text         | YES  |     | NULL    |                |
| artistlink   | text         | YES  |     | NULL    |                |
| songlink     | text         | YES  |     | NULL    |                |
| albumlink    | text         | YES  |     | NULL    |                |
| instrumental | tinyint(1)   | NO   |     | 0       |                |
| downloaded   | tinyint(1)   | NO   |     | 0       |                |
| filepath     | text         | YES  |     | NULL    |                |
| language     | json         | YES  |     | NULL    |                |
| genre        | json         | YES  |     | NULL    |                |
| style        | json         | YES  |     | NULL    |                |
| artistgender | text         | YES  |     | NULL    |                |
+--------------+--------------+------+-----+---------+----------------+

我需要从中提取数据并处理数据,然后将数据添加到PandasDataFrame中。
我知道如何从SQL数据库中提取数据,并且我已经实现了一种将数据传递给DataFrame的方法,但它非常慢(大约30秒),而当我使用命名元组的平面列表时,操作速度非常快(不到3秒)。
具体来说,filepath默认为NULL,除非文件被下载(目前没有歌曲被下载),当Python获得filepath时,值将为None,我需要该值变为''
因为MySQL没有BOOLEAN类型,所以我需要将收到的int转换为bool
语言,流派,风格字段是以JSON列表形式存储的标签,它们当前都是NULL,当Python得到它们时,它们是字符串,我需要使用json.loads将它们变成list,除非它们是None,如果它们是None,我需要附加空列表。
这是我对问题的低效解决方案:

import json
import mysql.connector
from pandas import *

fields = {
    "artist": str(),
    "album": str(),
    "title": str(),
    "id": int(),
    "duration": str(),
    "instrumental": bool(),
    "downloaded": bool(),
    "filepath": str(),
    "language": list(),
    "genre": list(),
    "style": list(),
    "artistgender": str(),
    "artistlink": str(),
    "albumlink": str(),
    "songlink": str(),
}

conn = mysql.connector.connect(
    user="Estranger", password=PWD, host="127.0.0.1", port=3306, database="Music"
)
cursor = conn.cursor()

def proper(x):
    return x[0].upper() + x[1:]

def fetchdata():
    cursor.execute("select {} from songs".format(', '.join(list(fields))))
    data = cursor.fetchall()
    dataframes = list()
    for item in data:
        entry = list(map(proper, item[0:3]))
        entry += [item[3]]
        for j in range(4, 7):
            cell = item[j]
            if isinstance(cell, int):
                entry.append(bool(cell))
            elif isinstance(cell, str):
                entry.append(cell)
        if item[7] is not None:
            entry.append(item[7])
        else:
            entry.append('')
        for j in range(8, 11):
            entry.append(json.loads(item[j])) if item[j] is not None else entry.append([])
        entry.append(item[11])
        entry += item[12:15]
        df = DataFrame(fields, index=[])
        row = Series(entry, index = df.columns)
        df = df.append(row, ignore_index=True)
        dataframes.append(df)
    songs = concat(dataframes, axis=0, ignore_index=True)
    songs.sort_values(['artist', 'album', 'title'], inplace=True)
    return songs

目前数据库中有4464首歌曲,代码需要大约30秒才能完成。
我按艺术家和标题对SQL数据库进行了排序,我需要按艺术家、专辑和标题对QTreeWidget的条目进行重新排序,MySQL对数据的排序与Python不同,我更喜欢Python排序。
在我的测试中,df.locdf = df.append()方法比较慢,pd.concat比较快,但我真的不知道如何创建只有一行的 Dataframe ,并将平面列表传递给 Dataframe 而不是字典,是否有比pd.concat更快的方法,或者for循环中的操作是否可以矢量化。
如何改进我的代码?
我知道了如何创建一个DataFrame,它包含一个列表列表并指定列名,而且速度快得多,但我仍然不知道如何优雅地指定数据类型而不引发代码错误...

def fetchdata():                                                                          
    cursor.execute("select {} from songs".format(', '.join(list(fields))))                
    data = cursor.fetchall()                                                              
    for i, item in enumerate(data):                                                       
        entry = list(map(proper, item[0:3]))                                              
        entry += [item[3]]                                                                
        for j in range(4, 7):                                                             
            cell = item[j]                                                                
            if isinstance(cell, int):                                                     
                entry.append(bool(cell))                                                  
            elif isinstance(cell, str):                                                   
                entry.append(cell)                                                        
        if item[7] is not None:                                                           
            entry.append(item[7])                                                         
        else:                                                                             
            entry.append('')                                                              
        for j in range(8, 11):                                                            
            entry.append(json.loads(item[j])) if item[j] is not None else entry.append([])
        entry.append(item[11])                                                            
        entry += item[12:15]                                                              
        data[i] = entry                                                                   
    songs = DataFrame(data, columns=list(fields), index=range(len(data)))               
    songs.sort_values(['artist', 'album', 'title'], inplace=True)                         
    return songs

我仍然需要类型转换,它们已经相当快了,但是它们看起来并不优雅。

wd2eg0qa

wd2eg0qa1#

您可以为每一列创建一个转换函数列表:

funcs = [
    str.capitalize,
    str.capitalize,
    str.capitalize,
    int,
    str,
    bool,
    bool,
    lambda v: v if v is not None else '',
    lambda v: json.loads(v) if v is not None else [],
    lambda v: json.loads(v) if v is not None else [],
    lambda v: json.loads(v) if v is not None else [],
    str,
    str,
    str,
    str,
]

现在,您可以应用转换每个字段值的函数

for i, item in enumerate(data):
    row = [func(field) for field, func in zip(item, funcs)]
    data[i] = row
wfveoks0

wfveoks02#

问题的第一部分,就通用数据库“历史”而言:

import pymysql
    # open database
    connection = pymysql.connect("localhost","root","123456","blue" )
    # prepare a cursor object using cursor() method
    cursor = connection.cursor()
    # prepare SQL command
    sql = "SELECT * FROM history" 
    try:
        cursor.execute(sql)
        data = cursor.fetchall()
        print ("Last row uploaded",list(data[-1]))
    except:
        print ("Error: unable to fetch data")
    # disconnect from server
    connection.close()
ldfqzlk8

ldfqzlk83#

You can simply fetch data from the table and create a Data-frame using Pandas.

import pymysql
import pandas as pd
from pymysql import Error
conn = pymysql.connect(host="",user="",connect_timeout=10,password="",database="",port=)
if conn:
    cursor = conn.cursor()
    sql = f"""SELECT * FROM schema.table_name;"""
    cursor.execute(sql)
    data =pd.DataFrame(cursor.fetchall())
    conn.close()
# You can go ahead and create a csv from this Data-Frame
    csv_gen = pd.to_csv(data,index=False)
    
    
 

    enter code here

相关问题