使用graphframes(scala)计算层次结构

dxpyg8gm  于 2021-05-24  发布在  Spark
关注(0)|答案(1)|浏览(511)

我在下面有一个Dataframe:

employee_id|employee_name|manager_employee_id|
----------------------------------------------
    1           eric (ceo)      1
    2           edward          1
    3           john            1
    4           james           2
    5           ella            4

我想使用spark(scala)graphframe逻辑实现以下功能:

employee_id|employee_name|manager_employee_id|level|hierarchy
-------------------------------------------------------------
    1           eric            1                0    /1
    2           edward          1                1    /1/2
    3           john            1                1    /1/3
    4           james           2                2    /1/2/4
    5           ella            3                3    /1/2/4/5

任何帮助都将不胜感激

1cosmwyk

1cosmwyk1#

我认为你所寻找的答案或多或少与此有关。
在您的终端所需的唯一修改将是聚合消息以获得完整的层次结构。关于那部分你可以参考这个。
以上两者的结合将得到你想要的结果。

相关问题