apache-spark - 如何使用 Apache PySpark 2.3 计算矩阵的特征向量系统

Question

我必须使用 PySpark 库计算最小幅度特征值，它是非对称矩阵的关联特征向量。

的大小 非常高，我希望计算分布在集群的工作人员之间。

问题是我在 PySpark 2.3文档中没有找到任何 API 来计算特征值。

我已经确定了两条路径，但我想避免它们：

1. QRDecomposition使用PySpark API 中可用的QR 算法重新实现特征值分解槽
2. 如Stack Overflow 上的这个问题中所述，通过scala 版本类计算特征值分解

有没有比这最后两个更简单或更好的方法？

我已经知道这篇文章的存在，但它们在概念上是不同的。

标签： apache-sparkpysparkeigenvalueeigenvector