python - 在 Datetime 上合并两个数据集
问题描述
我有两个数据集:第一个包含注册过程开始的数据,第二个包含注册过程结束的数据。我有用户的 ID 和日期。
第一个的例子(注册过程的开始):
用户名时间 1111111 2016-01-26 13:02:22 1111111 2016-01-26 14:05:51 1111111 2016-01-26 14:58:08 1111111 2016-01-27 11:17:09 1111111 2016-01-27 12:05:17 1111111 2016-01-27 13:15:33 1111111 2016-01-27 18:10:12 1111111 2016-01-27 20:23:38 222222 2016-01-29 09:01:00 222222 2016-01-29 09:04:15 222222 2016-01-29 11:27:35 222222 2016-01-30 09:02:36 222222 2016-06-29 08:50:02 333333 2016-01-26 09:58:27
第二个(注册过程结束):
用户名时间 1111111 2016-01-26 13:37:54 1111111 2016-01-26 14:40:34 1111111 2016-01-26 15:21:53 1111111 2016-01-27 11:42:58 1111111 2016-01-27 12:43:52 1111111 2016-01-27 13:39:56 1111111 2016-01-27 18:41:01 1111111 2016-01-27 20:51:56 222222 2016-01-29 09:17:26 222222 2016-01-29 11:37:10 222222 2016-01-30 09:16:33 333333 2016-01-29 09:14:39
我需要计算用户完成注册过程所需的时间。问题是第一个数据集的行数比第二个数据集多得多,因为用户可能会启动该过程然后放弃它,所以我不能只合并索引。例如:两个开始:
222222 2016-01-29 09:01:00 222222 2016-01-29 09:04:15
只有一个结束:
222222 2016-01-29 09:17:26
有没有一种很好的方法来使用 merge/merge_asof 函数来做到这一点?
解决方案
IIUUC,您可以使用merge_asof
. 这将允许您将两个 DataFrame 连接到'User ID'
与 Date 完全匹配的位置,然后您可以在 End DataFrame ( ) 中选择最接近Start DataFrame ( )df_end
中的时间之后的时间df_beg
import pandas as pd
# Need to convert to datetime and sort the keys we will merge_asof on.
df_beg['Time'] = pd.to_datetime(df_beg.Time)
df_end['Time'] = pd.to_datetime(df_end.Time)
df_beg = df_beg.sort_values('Time').rename(columns={'Time': 'Time_start'})
df_end = df_end.sort_values('Time').rename(columns={'Time': 'Time_end'})
merged = pd.merge_asof(df_beg, df_end,
left_by=['User ID', df_beg.Time_start.dt.date],
right_by=['User ID', df_end.Time_end.dt.date],
left_on='Time_start', right_on='Time_end',
direction='forward').drop(columns='key_1)
merged
就是现在:
User ID Time_start Time_end
0 333333 2016-01-26 09:58:27 NaT
1 1111111 2016-01-26 13:02:22 2016-01-26 13:37:54
2 1111111 2016-01-26 14:05:51 2016-01-26 14:40:34
3 1111111 2016-01-26 14:58:08 2016-01-26 15:21:53
4 1111111 2016-01-27 11:17:09 2016-01-27 11:42:58
5 1111111 2016-01-27 12:05:17 2016-01-27 12:43:52
6 1111111 2016-01-27 13:15:33 2016-01-27 13:39:56
7 1111111 2016-01-27 18:10:12 2016-01-27 18:41:01
8 1111111 2016-01-27 20:23:38 2016-01-27 20:51:56
9 222222 2016-01-29 09:01:00 2016-01-29 09:17:26
10 222222 2016-01-29 09:04:15 2016-01-29 09:17:26
11 222222 2016-01-29 11:27:35 2016-01-29 11:37:10
12 222222 2016-01-30 09:02:36 2016-01-30 09:16:33
13 222222 2016-06-29 08:50:02 NaT
如果您需要计算平均时间,正如您在评论中指出的那样,由于数据类型,您需要跳过几个圈timedelta64
。
import numpy as np
mask = merged.Time_end.notnull()
# Calculate the time difference and convert to a numeric type
merged.loc[mask, 'Time_diff'] = (merged.loc[mask, 'Time_end']
- merged.loc[mask, 'Time_start']).astype(np.int64)
# Calculate the average time difference, convert back to timedelta.
pd.to_timedelta(merged.groupby('User ID').Time_diff.mean())
#User ID
#222222 00:13:17.250000
#333333 NaT
#1111111 00:30:14.250000
#Name: Time_diff, dtype: timedelta64[ns]
推荐阅读
- javascript - Node.js puppeteer mysql - 使用 mysql 在循环内的数据库中插入获取的值
- xslt - 固定数量空格的 XSLT 格式编号
- c - 缓冲 UART RX 传入数据的最佳方法是什么?
- python - 从多个数据框中的列创建唯一列表,基于此创建 Excel 工作簿,并将数据框中的行放在不同的工作表上?
- scala - 如何使用 df.take() 显示表头?
- python - Django - 使用外部脚本从 url 下载图像并将它们插入到 imageField
- google-app-engine - 'gcloud deploy' 抱怨同时拥有 .gcloudignore 和 skip_files,即使我两者都没有
- database - 需要一些方向销售日期“休息”查询
- reporting - 在 Cognos BI 中对非数值数据进行交叉制表
- azure - 确保在 Azure 中按计划运行数千个 httprequest 的最佳方法是什么?