apache-spark - PySpark，如何简单地计算 Kmeans 模型中每个集群的数量？

Question

我训练了一个 Kmeans 模型：

kmeans = KMeans(k=20, seed=1)
df.show()
kmeans_model = kmeans.fit(df)

我只想简单地计算每个集群中有多少个元素，但我找不到简单的方法来实现它。

标签： apache-sparkpysparkapache-spark-mllib

Answer 1

检查了 pyspark 文档。这是答案：

summary = kmeans_model.summary
print(summary.clusterSizes)

参考：

http://spark.apache.org/docs/2.2.0/api/python/pyspark.ml.html#pyspark.ml.clustering.KMeans