python - 在 Pyspark 中获取 pandas Dataframe.to_numpy() 的另一种方法

Question

我使用 Pandas Dataframe 完成了以下代码片段，我必须将其转换为 Pyspark DataFrame 代码：

import numpy as np
import pandas as pd    
corr = np.corrcoef(df.to_numpy().T) #df is a Pandas Dataframe

我找到了一种从此链接转置 Spark Dataframe 的方法。

但我基本上需要 Pandas dataframe.to_numpy() 的 Pyspark 实现（类似于 Pandas dataframe.values。

任何线索都会有所帮助。另外，如果您希望我通过任何示例来澄清我的问题，请务必询问。

标签： pythonpython-3.xpandasdataframepyspark