我是pyspark的新手,在数据转换方面面临一些挑战。我正在用aws胶水来做这项工作。当前数据如下所示:
+-----------------+-----+------+-----+
| Country |Code |1969 |1979 |
+-----------------+------------------+
| United States | USA | 1234 | 4569|
--------------------------------------
我需要把数据转换成:
+-----------------+-----+-------+----------+
|Country |Code | Year | Population|
+-----------------+-------------------------
|United States. |USA | 1969 | 1234. |
--------------------------------------------
|United States. |USA | 1970 | 4569. |
--------------------------------------------
我试图使用胶水Map功能,但这比那复杂得多。任何帮助都将不胜感激。
1条答案
按热度按时间eit6fx6z1#
我想你需要的是一个相当于Pandas融化的Pypark:
然后