python-3.x - 关于过滤掉一致的时间序列数据的想法
问题描述
所以我有两个代表两种情况的数据子集。需要过滤掉看起来更一致的那个(它们是噪音),而保留看起来随机的那个(它们是运动)。我使用的方法是定义一个移动窗口 = 10,只要窗口内数据的标准偏差小于某个阈值,我就会抑制它们。但是,这种方法不能过滤掉所有“一致”的噪声,同时也会伤害不一致的噪声(真实运动)。我希望使用某种统计模型而不是机器学习来实现这一点。任何建议,将不胜感激! 噪声 真实运动
解决方案
Kolmogorov-Smirnov 检验用于比较两个样本以确定它们是否来自同一分布。我意识到现实世界的数据永远不会是统一的。因此,我没有将噪声数据与均匀分布进行比较,而是使用 scipy.stats.ks_2samp 函数将任何突发与一个真实运动突发进行比较。然后,如果返回的 p 值非常小,我就将运动静音,这意味着我可以拒绝两个样本来自同一分布的假设。
推荐阅读
- sql - 在Oracle SQL中,如何快速找出表列表中的行数和列数?
- regex - (正则表达式)没有 For 每个循环的 MatchCollection
- swift - 为什么基本的 Swift 代码会导致内存泄漏?
- xamarin - 如何更改所选选项卡的字体图标颜色?
- reactjs - 是否可以在反应中更新引导表中的单元格?
- python - Modin 比 pandas 花费更多时间来阅读 CSV
- node.js - 表中保存的外键为空 Sequelize Postgres Association(Node js)
- java - 而漂亮的格式化 XML更改此标头
- php - 如何使用字符串获取多维数组的值
- javascript - 从数据库php调用电话号码后,将电话号码添加到电话号码