时间戳

首页 > 解决方案 > 具有两个具有 nan 值的数组的 Pearsonr

python - 具有两个具有 nan 值的数组的 Pearsonr

问题描述

我有两个数组，其值对应于一年中的日期。当两个数组都有值时，我试图找到数组 a 和 b 之间的相关系数。两个数组的许多值都是 nan。

from scipy import stats 
import numpy as np   

dates = np.array([2/3, 2/4, 2/5, 2/8, 2/9, 2/10, 2/11])

a = np.array([-9999., 4, 6, 7, -9999., 8, -9999.])
b = np.array([3, -9999., 5, 8, -9999., 7, 9])

a[a==-9999] = np.nan
b[b==-9999] = np.nan

r,p= stats.mstats.pearsonr(a,b)

在这种情况下，只有第 2、第 3 和第 5 个索引可以用于此计算，因为两个数组都没有 nan 值。我已经想出了如何删除 nans，但是当我这样做时，会弄乱索引。所以它对我没有用。

标签： pythonpearson-correlation

解决方案

我只是将两个数组组合成一个数组：

c = np.vstack([a,b])
>>> array([[nan,  4.,  6.,  7., nan,  8., nan],
           [ 3., nan,  5.,  8., nan,  7.,  9.]])

删除任何包含任何 NaN 的列

d = c[:,~np.any(np.isnan(c), axis=0)]
>>> array([[6., 7., 8.],
           [5., 8., 7.]])

然后使用 scipy 计算相关性：

r,p= stats.mstats.pearsonr(d[0],d[1])
>>> 0.6546536707079772 0.54562894834299

或麻木：

np.correlate(d[0],d[1])
>>> 0.654653670707977

推荐阅读