列数不能可变，但可以使用集合类型（如数组或Map）中的一列，在python中，这与字典相对应。这允许您在列中存储可变长度的数据。否则，需要为模式中的每一列都有一个值。通常用空值填充缺少的值。
如果你已经有了一个Dataframe，还有一个函数 get_column_type 如果从列名中获取类型名，则可以如下所示重铸整个Dataframe：

import pyspark.sql.functions as F
select_expressions = [ F.col(column_name).cast(get_column_type(column_name)) for column_name in column_list]
recasted_df = df.select(*select_expressions)

parquet文件将包含Dataframe中的任何列。如果需要文件中的1000个字段，它们必须在Dataframe中，因此必须用null或其他值填充缺少的值。
现在，如果你把所有这些点放在一起，你可能想这样做：
把每个弹性文件读成一行，用 id 现场和 doc maptype类型的字段。 explode doc字段，因此现在有3列： id , key 以及 value ，每个文档中的每个键对应一行。此时，您可以写入parquet文件并完成该过程。
如果希望Dataframe具有完整架构，则必须执行以下额外步骤：
透视结果，为每个id只生成一行，并为文档中的每个键生成一列及其对应的值： pivoted_df = df.groupBy('id').pivot('key').agg(F.first('value') 此Dataframe包含数据中存在的所有字段。如果知道完整架构，可以为缺少的列添加虚拟列： df = df.withColumn('new_column', lit(None).cast(StringType()) 最后用第2点中的代码重铸列，并删除列 id . 您可以将其写入parquet，它将包含大模式中的所有列。