pandas - 将 .corrWith 熊猫转换为 pySpark

Question

大家好。你能帮我.corrWith吗？我找不到将熊猫“翻译”成火花的解决方案

编辑：我正在使用两个数据帧，所以我需要在两个数据帧之间建立关联

代码：

pd.DataFrame({col:x.corrwith(y[col]) for col in y.columns})

下图显示了完美的输出，但需要将其写入 spark

标签： pandasapache-sparkpysparkcorrelation

Answer 1

您可以使用.corr()函数。

例子：

df.corr(col('x'), col('y')).show()

对于多个列，只需将这些函数链接在一起。