python - 如何消除数据中的急剧跳跃？

问题描述

我有一些我打算分析的皮肤温度数据（以 1Hz 收集）。

然而，传感器并不总是与皮肤接触。因此，我面临着删除这些非皮肤温度数据，同时保留实际皮肤温度数据的挑战。我有大约 100 个文件要分析，所以我需要让它自动化。

我知道已经有这个类似的帖子，但是我无法用它来解决我的问题。

我的数据大致如下：

df =

timeStamp                 Temp
2018-05-04 10:08:00       28.63
         .                  . 
         .                  .
2018-05-04 21:00:00       31.63

我采取的第一步是简单地应用一个最小阈值——这已经消除了大部分非皮肤数据。但是，我留下了传感器被移除或连接的急剧跳跃：

为了消除这些跳跃，我正在考虑采用一种方法，使用温度的一阶微分，然后使用另一组阈值来摆脱我不感兴趣的数据。

例如

df_diff = df.diff(60) # period of about 60 makes jumps stick out

filter_index = np.nonzero((df.Temp <-1) | (df.Temp>0.5)) # when diff is less than -1 and greater than 0.5, most likely data jumps.

然而，我发现自己被困在这里。主要问题是：

1）我现在不知道如何使用这个索引列表来删除df中的非皮肤数据。如何最好地做到这一点？

更小的问题是 2) 我认为我仍然会在边缘附近的数据跳跃中留下一些残留的伪影（例如，更严格的阈值会开始丢弃好的数据）。是否有更好的过滤策略或摆脱这些伪影的方法？

*按照建议编辑我还计算了二阶差异，但老实说，我认为一阶差异将允许更严格的阈值（见下文）：

*编辑 2：链接到示例数据

标签： pythonpython-3.xpandasdataframefiltering

解决方案

试试下面的代码（我使用了一个切线函数来生成数据）。我在评论中使用了来自 Mad Physicist 的二阶差分思想。

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

df = pd.DataFrame()
df[0] = np.arange(0,10,0.005)
df[1] = np.tan(df[0])

#the following line calculates the absolute value of a second order finite 
#difference (derivative)
df[2] = 0.5*(df[1].diff()+df[1].diff(periods=-1)).abs()

df.loc[df[2] < .05][1].plot() #select out regions of a high rate-of-change 
df[1].plot()                  #plot original data

plt.show()

以下是输出的放大图，显示了过滤后的内容。Matplotlib 从删除数据的开始到结束绘制一条线。

我相信您的第一个问题可以通过上面的 .loc 选择来回答。

您的第二个问题将对您的数据集进行一些实验。上面的代码只选择了高导数数据。您还需要选择阈值来删除零等。您可以尝试在何处进行导数选择。您还可以绘制导数的直方图，以提示您选择什么。

此外，高阶差分方程可能有助于平滑。这应该有助于去除伪影，而无需修剪切口。

编辑：

可以使用以下方法应用四阶有限差分：

df[2] = (df[1].diff(periods=1)-df[1].diff(periods=-1))*8/12 - \
    (df[1].diff(periods=2)-df[1].diff(periods=-2))*1/12
df[2] = df[2].abs()

有理由认为它可能会有所帮助。上面的系数可以从以下链接中计算或导出以获得更高阶。有限差分系数计算器

注意：上述二阶和四阶中心差分方程不是真一阶导数。必须除以区间长度（在本例中为 0.005）才能得到实际导数。

python - 如何消除数据中的急剧跳跃？

问题描述

解决方案

推荐阅读