我正在研究一个Databricks的例子。dataframe的模式如下所示:
|-- authors: array (nullable = true)
| |-- element: struct (containsNull = true)
| | |-- author: struct (nullable = true)
| | | |-- key: string (nullable = true)
| | |-- key: string (nullable = true)
| | |-- type: string (nullable = true)
我尝试创建如下dataframe模式
|-- author_key: string (nullable = true)
|-- key: string (nullable = true)
|-- type: string (nullable = true)
我不知道如何分解嵌套的结构体,所以我只想使用explode首先输入rows,但我不确定这是正确的方法。下面的屏幕截图是我的代码的结果。
1条答案
按热度按时间r8uurelv1#
你可以使用
explode
函数来分解数组,然后在单独的列中提取所需的数据,类似于这样: