在pyspark中展平复杂数据类型

ma8fv8wu  于 2021-05-16  发布在  Spark
关注(0)|答案(0)|浏览(327)

我的数据框中有高级数据类型,比如数组、数组和其他嵌套组合。我正在尝试编写一个通用函数,该函数可以在不提及列名和展平Dataframe的情况下工作。是否已经有可用的库或某些函数可以使这成为可能?
Dataframe中存在的模式的一个这样的示例:

array (nullable = true)
 |    |-- element: struct (containsNull = true)
 |    |    |-- col1: string (nullable = true)
 |    |    |-- col2: string (nullable = true)
 |    |    |-- col3: string (nullable = true)
 |    |    |-- col4: string (nullable = true)
 |    |    |-- col5: string (nullable = true)
 |    |    |-- col6: string (nullable = true)
 |    |    |-- col7: boolean (nullable = true)
 |    |    |-- col8: boolean (nullable = true)
 |    |    |-- col9: array (nullable = true)
 |    |    |    |-- element: struct (containsNull = true)
 |    |    |    |    |-- field1: string (nullable = true)
 |    |    |    |    |-- field2: string (nullable = true)
 |    |    |    |    |-- field3: boolean (nullable = true)
 |    |    |    |    |-- field4: string (nullable = true)
 |    |    |    |    |-- field5: string (nullable = true)

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题