pyspark - 使用完整的成对观察Pyspark计算存在缺失值时的相关矩阵

Question

我想使用 Pyspark 计算数据帧的相关矩阵。此数据框的几列包含一定数量的缺失值。有没有一种方法可以像 pandas corr() 那样获得相关矩阵来忽略缺失值（成对完整的观察结果，而不是删除所有具有空值的行）？谢谢！

标签： pysparkmissing-datapearson-correlation