excel 如何从XLS文件中获取图纸名称而不加载整个文件?

bvn4nwqk  于 2023-03-04  发布在  其他
关注(0)|答案(9)|浏览(206)

我目前正在使用Pandas来读取Excel文件,并向用户显示其工作表名称,以便用户选择要使用的工作表。问题是,这些文件非常大(70列x 65k行),加载到笔记本上需要14秒(CSV文件中的相同数据需要3秒)。
我在panda中的代码是这样的:

xls = pandas.ExcelFile(path)
sheets = xls.sheet_names

我以前试过xlrd,但得到了类似的结果。这是我用xlrd编写的代码:

xls = xlrd.open_workbook(path)
sheets = xls.sheet_names

那么,谁能提出一种比读取整个文件更快的方法来从Excel文件中检索工作表名称呢?

mkh04yzy

mkh04yzy1#

我试过xlrd,panda,openpyxl和其他类似的库,所有这些库在读取整个文件时,似乎都要花费指数级的时间,因为文件大小会增加。上面提到的其他解决方案,他们使用'on_demand'对我不起作用。下面的函数适用于xlsx文件。

def get_sheet_details(file_path):
    sheets = []
    file_name = os.path.splitext(os.path.split(file_path)[-1])[0]
    # Make a temporary directory with the file name
    directory_to_extract_to = os.path.join(settings.MEDIA_ROOT, file_name)
    os.mkdir(directory_to_extract_to)

    # Extract the xlsx file as it is just a zip file
    zip_ref = zipfile.ZipFile(file_path, 'r')
    zip_ref.extractall(directory_to_extract_to)
    zip_ref.close()

    # Open the workbook.xml which is very light and only has meta data, get sheets from it
    path_to_workbook = os.path.join(directory_to_extract_to, 'xl', 'workbook.xml')
    with open(path_to_workbook, 'r') as f:
        xml = f.read()
        dictionary = xmltodict.parse(xml)
        for sheet in dictionary['workbook']['sheets']['sheet']:
            sheet_details = {
                'id': sheet['sheetId'], # can be @sheetId for some versions
                'name': sheet['name'] # can be @name
            }
            sheets.append(sheet_details)

    # Delete the extracted files directory
    shutil.rmtree(directory_to_extract_to)
    return sheets

因为所有的xlsx基本上都是压缩文件,所以我们直接从工作簿中提取底层的xml数据并读取工作表名称,与库函数相比,这只需要几分之一秒的时间。

  • 基准:(以4张6mb xlsx档案格式)*
    • Pandas,第十三次:**12秒
    • 开放式数据库:**24秒
    • 建议方法:**0.4秒
yks3o0rb

yks3o0rb2#

根据我对标准/流行库的研究,截至2020xlsx/xls还没有实现这一点,但您可以对xlsb实现这一点。无论哪种方式,这些解决方案都将为您带来巨大的性能提升。
以下是在约10Mb xlsxxlsb文件上进行的基准测试。

一米八一米

from openpyxl import load_workbook

def get_sheetnames_xlsx(filepath):
    wb = load_workbook(filepath, read_only=True, keep_links=False)
    return wb.sheetnames
  • 基准测试:*~速度提高14倍
# get_sheetnames_xlsx vs pd.read_excel
225 ms ± 6.21 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)
3.25 s ± 140 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

一米九一x

from pyxlsb import open_workbook

def get_sheetnames_xlsb(filepath):
  with open_workbook(filepath) as wb:
     return wb.sheets
  • 基准测试:*~速度提高56倍
# get_sheetnames_xlsb vs pd.read_excel
96.4 ms ± 1.61 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)
5.36 s ± 162 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)
raogr8fs

raogr8fs3#

通过结合@Dhwanil shah的答案和here的答案,我编写的代码也兼容只有一个工作表的xlsx文件:

def get_sheet_ids(file_path):
sheet_names = []
with zipfile.ZipFile(file_path, 'r') as zip_ref:
    xml = zip_ref.open(r'xl/workbook.xml').read()
    dictionary = xmltodict.parse(xml)

    if not isinstance(dictionary['workbook']['sheets']['sheet'], list):
        sheet_names.append(dictionary['workbook']['sheets']['sheet']['@name'])
    else:
        for sheet in dictionary['workbook']['sheets']['sheet']:
            sheet_names.append(sheet['@name'])
return sheet_names
omjgkv6w

omjgkv6w4#

基于dhwanil-shah的答案,我发现这是最有效的:

import os
import re
import zipfile

def get_excel_sheet_names(file_path):
    sheets = []
    with zipfile.ZipFile(file_path, 'r') as zip_ref: xml = zip_ref.read("xl/workbook.xml").decode("utf-8")
    for s_tag in  re.findall("<sheet [^>]*", xml) : sheets.append(  re.search('name="[^"]*', s_tag).group(0)[6:])
    return sheets

sheets  = get_excel_sheet_names("Book1.xlsx")
print(sheets)
# prints: "['Sheet1', 'my_sheet 2']"
    • xlsb工作备选方案**
import os
import re
import zipfile

def get_xlsb_sheet_names(file_path):
    sheets = []
    with zipfile.ZipFile(file_path, 'r') as zip_ref: xml = zip_ref.read("docProps/app.xml").decode("utf-8")
        xml=grep("<TitlesOfParts>.*</TitlesOfParts>", xml)
        for s_tag in  re.findall("<vt:lpstr>.*</vt:lpstr>", xml) : sheets.append(  re.search('>.*<', s_tag).group(0))[1:-1])

    return sheets

优点是:

  • 速率
  • 代码简单,易于修改
  • 不创建临时文件或目录(全部在内存中)
  • 仅使用核心库

待完善:

      • 正则表达式解析**(不确定如果工作表名称包含双引号["],它将如何工作)
jutyujz0

jutyujz05#

Python代码改编,传递了完整的pathlib路径文件名(例如,('c:\xml\file.xlsx'))。根据Dhwanil shah答案,没有使用Django方法创建临时目录。

import xmltodict
import shutil
import zipfile

def get_sheet_details(filename):
    sheets = []
    # Make a temporary directory with the file name
    directory_to_extract_to = (filename.with_suffix(''))
    directory_to_extract_to.mkdir(parents=True, exist_ok=True)
    # Extract the xlsx file as it is just a zip file
    zip_ref = zipfile.ZipFile(filename, 'r')
    zip_ref.extractall(directory_to_extract_to)
    zip_ref.close()
    # Open the workbook.xml which is very light and only has meta data, get sheets from it
    path_to_workbook = directory_to_extract_to / 'xl' / 'workbook.xml'
    with open(path_to_workbook, 'r') as f:
        xml = f.read()
        dictionary = xmltodict.parse(xml)
        for sheet in dictionary['workbook']['sheets']['sheet']:
            sheet_details = {
                'id': sheet['@sheetId'],  # can be sheetId for some versions
                'name': sheet['@name']  # can be name
            }
            sheets.append(sheet_details)
    # Delete the extracted files directory
    shutil.rmtree(directory_to_extract_to)
    return sheets
cclgggtu

cclgggtu6#

仅使用标准库:

import re
from pathlib import Path
import xml.etree.ElementTree as ET
from zipfile import Path as ZipPath

def sheet_names(path: Path) -> tuple[str, ...]:
    xml: bytes = ZipPath(path, at="xl/workbook.xml").read_bytes()
    root: ET.Element = ET.fromstring(xml)
    namespace = m.group(0) if (m := re.match(r"\{.*\}", root.tag)) else ""
    return tuple(x.attrib["name"] for x in root.findall(f"./{namespace}sheets/") if x.tag == f"{namespace}sheet")
41zrol4v

41zrol4v7#

读取excel工作表名称的简单方法:
导入openpyxl wb = openpyxl.加载工作簿(r "")打印(wb.工作表名称)
使用Pandas从Excel中的特定工作表读取数据:
pdf = www.example.com_excel(io ='',引擎='openpyxl',工作表名称='报表',页眉= 7,跳过页脚= 1). drop_duplicates()pd.read_excel(io = '', engine='openpyxl', sheet_name = 'Report', header=7, skipfooter=1).drop_duplicates()

flseospp

flseospp8#

您还可以使用

data=pd.read_excel('demanddata.xlsx',sheet_name='oil&gas')
print(data)

这里demanddata是你的文件名,oil & gas是你的工作表名之一。假设你的工作表中可能有n个工作表。只需在Sheet_name ="Name of Your required sheet"中给出你想要获取的工作表的名称即可。

9ceoxa92

9ceoxa929#

您可以使用xlrd库并使用"on_demand = True"标志打开工作簿,这样工作表就不会自动加载。
然后,您可以使用与Pandas类似的方法检索工作表名称:

import xlrd
xls = xlrd.open_workbook(r'<path_to_your_excel_file>', on_demand=True)
print xls.sheet_names() # <- remeber: xlrd sheet_names is a function, not a property

相关问题