python - 比较不同、不平等数据集中的日期并为给定日期范围增加价值
问题描述
我正在尝试比较两个时间序列数据集。其中一个数据集具有一组时间范围(事件开始时间和结束时间)和一个值。第二个数据集的时间范围(频率 = 1 小时)从数据集 1 的最小开始时间到最大结束时间。我想为时间范围匹配的人添加一个值。
例子:
数据集 1,作为 pandas 数据框导入并解析日期:
data1:
Start_Time | End_Time | Value
01/01/2017 13:00 01/01/2017 16:00 68
01/02/2017 00:00 01/02/2017 08:00 70
01/03/2017 10:00 01/03/2017 17:00 90
数据集 2 是使用 pandas date_range 创建的
data2['date'] = pd.date_range(start=data1['Start_Time'].min(),
end = data1['End_Time'].max(), freq = '1H')
我尝试使用np.where
找到满足条件的日期范围
注意:两个 DataFrame 的大小不相等
data2['Value'] = np.where((data1['Start_Time']>=data2['date'][data1.index])
& (data1['End_time']<=data2['date'][data1.index]),
data1['Value'], 0)
我需要的 data2 数据框是
Date | Value
01/01/2017 13:00 68
01/01/2017 14:00 68
01/01/2017 15:00 68
01/01/2017 16:00 68
01/01/2017 17:00 0
01/01/2017 18:00 0
.
.
.
.
01/02/2017 00:00 70
01/02/2017 01:00 70
01/02/2017 02:00 70
and so on.
解决方案
我正在使用numpy
广播,它是 o(m*n) 方法
#data1.Start_Time=pd.to_datetime(data1.Start_Time)
#data1.End_Time=pd.to_datetime(data1.End_Time)
s1=data1.Start_Time.values
s2=data1.End_Time.values
s=data2.date.values
a=np.dot((s[:,None]>=s1)&(s[:,None]<=s2),data1.Value.values)
Out[639]:
array([68, 68, 68, 68, 0, 0, 0, 0, 0, 0, 0, 70, 70, 70, 70, 70, 70,
70, 70, 70, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 90, 90, 90, 90, 90, 90,
90, 90], dtype=int64)
data2['Value']=a
推荐阅读
- protocol-buffers - 如何从 grpc Context.current() 访问属性?
- javascript - .innerHTML 和 Jquery .append 的安全替代方案是什么?
- bluetooth - 为什么配对新蓝牙设备时不会触发 MediaDevices.ondevicechange 事件?
- reactjs - Typescript - 声明变量但稍后分配的最佳方法是什么?
- r - 是否有一个 R 函数来计算在一列和跨行中用分号分隔的值
- c++ - 继承泛型成员函数
- python - 在表格中使用 for 循环格式化 API 列表
- vue.js - 我如何使用离子模态控制器捕获模态 this.$emit
- sql - 当单个组中有多个元素并且每个元素具有唯一值时如何在 SQL Server 中重塑数据
- jquery - JQuery 停止任何其他事件和函数,直到此事件完成