pyspark - Pyspark 线性预测

Question

我对 Pyspark 和大数据的世界还很陌生.....

我的问题与线性预测函数以及如何在 pyspark 中为更大的数据集派生这些数据有关

以下是我用于场景值计算的数据链接

Scenario_Data

使用 return 输出的场景数据

根据预期回报，我计算场景价值

例如，如果预期回报为 3% ---> 我手动识别将为 X 和 Y 提供值的行.....所以在这种情况下，在手动识别此行后，3% 将介于 1% 和 5% 之间，我使用 excel (forecast.linear) 中的公式计算场景值，所以在这种情况下 3% ，我计算的场景值将是 -162.5

目标是在 pyspark 中计算所有这些，而不需要上面提到的手动操作

如果您需要有关此查询的更多详细信息，请告诉我

非常感谢您的帮助

注意：我正在为此任务使用数据块

问候 Hitesh

标签： pysparkapache-spark-sql