我需要从Spark Dataframe 的模式pyspark.sql.types.StructType
创建一个字典。
代码需要遍历整个StructType
,只找到StructType
类型的StructField
元素,并且在提取到字典中时,使用父StructField
的name
作为key
,而value
将仅是第一个嵌套/子StructField
的name
。
示例架构(StructType
):
root
|-- field_1: int
|-- field_2: int
|-- field_3: struct
| |-- date: date
| |-- timestamp: timestamp
|-- field_4: int
预期结果:
{"field_3": "date"}
1条答案
按热度按时间0sgqnhkj1#
您可以使用字典解析在架构中导航。
试验1
测试2