尽管使用了filters标志，但是尝试从一个大的parquet数据集中读取一天的数据是非常慢的。我使用过滤器有什么问题吗？如果是，我能做些什么来纠正这个问题？
我有一个很大的Parquet数据集，s3中有数百万个文件，这些文件是由一个spark作业生成的，这个作业是hive分区的。分区架构如下所示：

s3://bucket-name/dataset-name/year=2019/month=5/day=23

代码如下：

import s3fs
import pyarrow.parquet as pq
s3_path = 's3://bucket-name/dataset-name'
s3 = s3fs.S3FileSystem()
hive_filter = [('year', '=', 2019), ('month', '=', 11), ('day', '=', 13)]
pyarrow_dataset = pq.ParquetDataset(s3_path, filesystem=s3, filters=hive_filter)
pyarrow_table = pyarrow_dataset.read()

如果我指定一天的s3路径，它运行得非常快。不幸的是，这样做行不通，因为我通常希望一次选择多天的数据，而不希望扫描整个数据集。我的解决方法是使用一个s3客户机来列出目录，从而自己有效地实现过滤器。
其他信息：
在jupyter笔记本上测试时，第一次运行非常慢。随后的运行速度与我指定s3路径到当天的运行速度相同。我怀疑是某种缓存造成的。不幸的是，我需要第一次跑步。