python - python中KDE的平滑逼近

Question

我试图在我的 KDE 绘图的 x 轴上只获得非负值。我知道我可以限制 x 轴值，但我不希望那样。有没有办法平滑地逼近 KDE，使得没有非负值？我所有的数据都是非负的，但我没有很多样本点（最多 500 个，我无法获得更多）。我也尝试过调整带宽，但看起来不太好。

for i in range(len(B)):
    ax = sns.kdeplot(data[i],shade=True)   
ax.set_xlabel('Maimum detection time')
ax.legend(['N=25,R=20', 'N=30,R=20', 'N=35,R=20'],fontsize=5)
plt.show()

标签： pythonseabornstatsmodelskdescipy.stats

Answer 1

kdeplot 背后发生的事情是，内核密度与许多小的正态密度相匹配（参见此图），并且截断截止点边缘的密度溢出。

使用示例数据：

import matplotlib.pyplot as plt
import seaborn as sns
import numpy as np
import pandas as pd
import statsmodels.api as sm
from scipy.stats import norm

np.random.seed(999)

data = pd.DataFrame({'a':np.random.exponential(0.3,100),
                     'b':np.random.exponential(0.5,100)})  

如果您使用clip=，它不会以负值停止评估：

for i in data.columns:
    ax = sns.kdeplot(data[i],shade=True,gridsize=200)

如果添加cut=0，它会看起来很奇怪。正如您所指出的，您可以将其截断为 0：

这篇关于交叉验证的帖子提出了两种解决方案。我编写了@whuber 提供的R 代码的python 实现：

def trunc_dens(x):
    kde = sm.nonparametric.KDEUnivariate(x)
    kde.fit()
    h = kde.bw
    w = 1/(1-norm.cdf(0,loc=x,scale=h))
    d = sm.nonparametric.KDEUnivariate(x)
    d = d.fit(bw=h,weights=w / len(x),fft=False)
    d_support = d.support
    d_dens = d.density
    d_dens[d_support<0] = 0
    return d_support,d_dens

我们可以检查它的外观data['a']：

kde = sm.nonparametric.KDEUnivariate(data['a'])
kde.fit()
plt.plot(kde.support,kde.density)
_x,_y = trunc_dens(data['a'])
plt.plot(_x,_y)

您可以为两者绘制它：

fig,ax = plt.subplots()
for i in data.columns:
    _x,_y = trunc_dens(data[i])
    ax.plot(_x,_y)