python - Python中连续数据的箱线图
问题描述
我有一个包含 2 列的 csv 文件:
col1-
Timestamp
数据(yyyy-mm-dd hh:mm:ss.ms(8 个月数据))col2:热数据(连续变量)。
由于几乎有 50k 条记录,我想将 col1(timestamp col) 划分为几个月或几周,然后在热数据 wrt 时间戳上应用箱形图。我在R中尝试过,需要很长时间。在 Python 中需要帮助。我想我需要使用seaborn.boxplot
.
请指导。
解决方案
按频率分组,然后绘制组
首先将您的 csv 数据读入 Pandas DataFrame
import numpy as np
import Pandas as pd
from matplotlib import pyplot as plt
# assumes NO header line in csv
df = pd.read_csv('\file\path', names=['time','temp'], parse_dates=[0])
我将使用一些假数据,30 天的每小时样本。
heat = np.random.random(24*30) * 100
dates = pd.date_range('1/1/2011', periods=24*30, freq='H')
df = pd.DataFrame({'time':dates,'temp':heat})
将时间戳设置为 DataFrame 的索引
df = df.set_index('time')
现在按您想要的时间段分组,本例为 7 天
gb = df.groupby(pd.Grouper(freq='7D'))
现在您可以分别绘制每个组
for g, week in gb2:
#week.plot()
week.boxplot()
plt.title(f'Week Of {g.date()}')
plt.show()
plt.close()
而且......我没有意识到你可以做到这一点,但它很酷
ax = gb.boxplot(subplots=False)
plt.setp(ax.xaxis.get_ticklabels(),rotation=30)
plt.show()
plt.close()
heat = np.random.random(24*300) * 100
dates = pd.date_range('1/1/2011', periods=24*300, freq='H')
df = pd.DataFrame({'time':dates,'temp':heat})
df = df.set_index('time')
要将数据划分为五个时间段,然后获取每个时间段的每周箱线图:
确定总时间跨度;除以五;创建频率别名;然后分组
dt = df.index[-1] - df.index[0]
dt = dt/5
alias = f'{dt.total_seconds()}S'
gb = df.groupby(pd.Grouper(freq=alias))
每个组都是一个 DataFrame,因此迭代这些组;从每个组创建每周组并将它们绘制成箱线图。
for g,d_frame in gb:
gb_tmp = d_frame.groupby(pd.Grouper(freq='7D'))
ax = gb_tmp.boxplot(subplots=False)
plt.setp(ax.xaxis.get_ticklabels(),rotation=90)
plt.show()
plt.close()
可能有更好的方法可以做到这一点,如果是这样,我会发布它,或者也许有人会免费填写以进行编辑。看起来这可能导致最后一组没有完整的数据集。...
如果您知道您的数据是周期性的,您可以使用切片将其拆分。
n = len(df) // 5
for tmp_df in (df[i:i+n] for i in range(0, len(df), n)):
gb_tmp = tmp_df.groupby(pd.Grouper(freq='7D'))
ax = gb_tmp.boxplot(subplots=False)
plt.setp(ax.xaxis.get_ticklabels(),rotation=90)
plt.show()
plt.close()
推荐阅读
- uproot - 如何将两个连根拔起的锯齿状数组合并为一个
- python - 使用 Pandas Style 我得到 KeyError: "None of .... are in the [columns]
- google-apps-script - 如何将应用程序脚本中的 Sheets.Spreadsheets.getByDataFilter 用于在电子表格中创建的过滤器视图?
- reactjs - 无法在 React 中更新表单数据
- reactjs - 样式化的组件条件不能正常工作
- google-cloud-platform - GCP 上 PySpark 集群的空闲删除配置
- c# - 如何确保我的测试正确启动和运行?
- javascript - 更新 - 以编程方式更改输入字段后无法按退格键
- html - 嵌套的 Radio 元素被视为在 DOM 上都处于同一级别
- scala - 在 Scala 对象中处理统一私有成员的好方法是什么?