java - 如何将两个 JavapairRDD 组合成一个自定义的 JavapairRDD？

Question

我根据从不同 API 端点接收到的数据创建了以下 JavaPairRdds。

listHeaderRDD<Integer, TeachersList> -> {list_id, list_details} 
e.g {1,{list_id:1,name:"abc",quantity:"2"}},  
    {2,{list_id:2,name:"xyz",quantity:"5"}}...

    ItemsGroupListRDD<Integer, Iterable<Tuple2<Integer, TeachersListItem>>> -> 
{list_id, {{item_id1,item_details1},{item_id2,item_details2}..}}

    e.g {1, {{11,{item_id:11,item_name:"abc"}},{12,{item_id:12,item_name:"acv"}}}..}
        {2, {{14,{item_id:14,item_name:"bnh"}},{18,{item_id:18,item_name:"hjk"}}}..}

期望的输出：

teachersListRDD<TeachersList, Iterable<TeachersListItem>> -> {list_details, all_item_details}

e.g {{{list_id:1,name:"abc",quantity:"2"},{{item_id:11,item_name:"abc"},{item_id:12,item_name:"acv"}}},

{{list_id:2,name:"xyz",quantity:"5"},{{item_id:14,item_name:"bnh"},{item_id:18,item_name:"hjk"}}}
}

基本上，我希望第一个 RDD 的值成为所需 RDD 中的键，并将第二个 RDD 中与该 list_id 对应的 item_details 组作为所需 RDD 的值，即，teacherListRDD 我尝试了不同的方法来做到这一点，但无法获得所需的输出。

标签： javaapache-sparkhadoopjava-pair-rdd