• | name| value| +

试试这个-用scala编写，但是可以移植到pyspark，只需很少的改动

df.select(map_from_arrays(collect_list("name").as("name"),
      collect_list("value").as("value")).as("map"))
      .select(explode_outer($"map").as(Seq("name", "value")))
      .show(false)

    /**
      * +----+-----+
      * |name|value|
      * +----+-----+
      * |id  |1    |
      * |name|Joe  |
      * |age |47   |
      * |food|pizza|
      * +----+-----+
      */

• | null| null| | null| null| | null| null| | null| null| | null| null| | null| null| | null| null| | null| null| | null| null| | null| null| | id| null| | name| null| | age| null| | food| null| | null| 1| | null| Joe| | null| 47| | null| pizza| +

+我尝试过删除空值df.dropna(how='any'/'all')` 但是，通过分离列并删除空值，很难将它们重新连接在一起。

• | name| value| +

• | id| 1| | name| Joe| | age| 47| | food| pizza| +

+我想从每个单独的列中删除空值，这样非空数据就可以排列起来。 所需输出为：+