scala - 使用 GraphFrames (Scala) 计算层次结构

Question

我在下面有一个数据框：

employee_id|employee_name|manager_employee_id|
----------------------------------------------
    1           eric (ceo)      1
    2           edward          1
    3           john            1
    4           james           2
    5           ella            4

我想使用 spark (scala) graphframe 逻辑来实现以下目标：

employee_id|employee_name|manager_employee_id|level|hierarchy
-------------------------------------------------------------
    1           eric            1                0    /1
    2           edward          1                1    /1/2
    3           john            1                1    /1/3
    4           james           2                2    /1/2/4
    5           ella            3                3    /1/2/4/5

任何帮助将非常感激

标签： scalaapache-sparkgraphframes

Answer 1

我认为您正在寻找的答案或多或少与此有关。

您最后需要的唯一修改是聚合消息以获得完整的层次结构。这部分你可以参考这个。

以上两者的组合将为您带来所需的结果。