在spark中将冗长的json结构转换为行而不是列

ezykj2lf  于 2021-05-18  发布在  Spark
关注(0)|答案(0)|浏览(270)

我有这样一个json:

root
 |--   Apple: struct (nullable = true)
 |    |-- Ripe: long (nullable = true)
 |--   Mango: struct (nullable = true)
 |    |-- Ripe: long (nullable = true)
 |--  Grapes: struct (nullable = true)
 |    |-- Raw: long (nullable = true)
 |--  Berry: struct (nullable = true)
 |    |-- Not Ripe: long (nullable = true)
 |--  Cherry: struct (nullable = true)
 |    |-- Ripe: long (nullable = true)

当我试着在spark上注册这个表时,苹果,芒果…樱桃显示为列,成熟,未成熟,生的显示为行。我有一个json,里面有50多种水果和蔬菜,但每个只有3种选择:成熟的、未成熟的、生的。所以,我使用的方法创建了一个只有3行的宽表。
我想交换一下,这样苹果,芒果…樱桃就成排了,而成熟的,生的,不成熟的就成列了。在python中,我在pandas下使用了转置来轻松完成这一任务。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题