我试图把很多avro文件读入sparkDataframe。它们都共享相同的s3文件路径前缀，所以最初我运行的是：

path = "s3a://bucketname/data-files"
df = spark.read.format("avro").load(path)

成功识别了所有文件。
单个文件类似于：

"s3a://bucketname/data-files/timestamp=20201007123000/id=update_account/0324345431234.avro"

在试图操作数据时，代码一直出错，并显示一条消息，其中一个文件不是avro数据文件。收到的实际错误消息是： org.apache.spark.SparkException: Job aborted due to stage failure: Task 62476 in stage 44102.0 failed 4 times, most recent failure: Lost task 62476.3 in stage 44102.0 (TID 267428, 10.96.134.227, executor 9): java.io.IOException: Not an Avro data file .
为了避免这个问题，我能够得到我感兴趣的avro文件的显式文件路径。把他们列在名单上之后 (file_list) ，我成功地跑了 spark.read.format("avro").load(file_list) .
现在的问题是-我想在dataframe中添加一些字段，这些字段是filepath的一部分（即上面示例中的时间戳和id）。
当只使用bucket和prefix filepath来查找文件时（方法#1），这些字段会自动附加到结果Dataframe中。有了显式文件路径，我就没有这个优势了。
我想知道在使用spark读取文件时是否有方法包含这些列。
按顺序处理文件的方式如下：

for file in file_list:
    df = spark.read.format("avro").load(file)
    id, timestamp = parse_filename(file)
    df = df.withColumn("id", lit(id))\
         .withColumn("timestamp", lit(timestamp))

但有超过50万个文件，这将是一个永恒的过程。
我是新来的Spark，所以任何帮助将不胜感激，谢谢！