python - 在 PySpark 中，如何将直线拟合到每一行数据并将渐变附加到数据帧？

Question

我有一个看起来像这样的数据框：

uniqueKey | Month1 | Month2 | ... | MonthN
a         | 1      | 2      | ... | 3
b         | 3      | 4      | ... | 5

每行都是唯一的。我想为每一行拟合一条直线并将渐变值附加到数据帧的末尾。

我知道如何将SparkMLOLS 拟合到整个数据框，但是这个数据框很大，我想以分布式方式进行。

标签： pythonapache-sparkpysparklinear-regressionapache-spark-mllib