时间戳

首页 > 解决方案 > 如何验证 graph.PartitionStrategy 是否有效？

java - 如何验证 graph.PartitionStrategy 是否有效？

问题描述

我在 java 中使用了 GraphX API，并从 EdgeRDD 和 VertexRDD 创建了一个图。最初，RDD 是使用数据集创建的。如果我运行以下代码，我看不到任何错误。但是，我无法验证代码是否正在运行，并且它正在使用分区策略对图形进行分区。

JavaRDD<Edge<Double>> edgeRDD = javaSparkContext.parallelize(edges);
JavaRDD<Tuple2<Object, String>> nodeRDD = javaSparkContext.parallelize(nodes);
Graph<String, Double> graph = Graph.apply(nodeRDD.rdd(), edgeRDD.rdd(), "", StorageLevel.MEMORY_ONLY(),
                StorageLevel.MEMORY_ONLY(), stringTag, doubleTag);
//This graph.partitionBy method
graph.partitionBy(PartitionStrategy.EdgePartition2D$.MODULE$, 3);

有什么方法可以验证 EdgePartition2D 是否正常工作并创建了 3 个分区。或者可以在运行此方法后打印 3 个子图？我现在一直在独立机器上运行这些代码。

标签： javaapache-sparkspark-graphx

解决方案

推荐阅读