python - 合并两个大数据框导致内存错误
问题描述
在此处输入图像描述- 表图像我正在尝试合并两个非常大的数据帧,这给了我内存错误。这是我试图将其转换为熊猫的 SQL 代码。
SELECT a.period, a.houseid, a.custid, a.productid, b.local_time
FROM table_a
JOIN table_b
ON a.period = b.period
AND a.productid = b.productid
AND b.local_time BETWEEN a.start_time AND a.end_time
Table_a
并Table_b
包含数百万行。尝试使用键连接表,并且当 table_b 的本地时间在表 a 的开始时间和结束时间范围之间时。
DF1:
period houseid custid prodid localtime
20181001 1 aa 2 01/10/2018 19:04
20181001 1 zz 9 01/10/2018 15:57
20181001 1 zz 178 01/10/2018 13:01
20181001 1 zz 231 02/10/2018 02:51
DF2:
PERIOD prodid Name Product_info START_TIME END_TIME
20181001 2 Xab GHI 01/10/2018 19:00 01/10/2018 19:29
20181001 2 Xab QQQ 01/10/2018 19:30 01/10/2018 19:59
20181001 2 Xab asd 01/10/2018 20:00 01/10/2018 20:29
20181001 9 S2 Angele 01/10/2018 14:00 01/10/2018 14:59
20181001 9 S2 Road 01/10/2018 15:00 01/10/2018 15:59
20181001 9 S2 Flash 01/10/2018 16:00 01/10/2018 16:59
20181001 9 S2 Simpson 01/10/2018 17:00 01/10/2018 17:29
20181001 178 T3 Chase 01/10/2018 13:00 01/10/2018 13:59
20181001 178 T3 Chase 01/10/2018 14:00 01/10/2018 14:59
20181001 178 T3 Elaine 01/10/2018 15:00 01/10/2018 15:59
结果DF1:
period houseid custid prodid localtime Product_info Name
20181001 1 aa 2 01/10/2018 19:04 GHI Xab
20181001 1 zz 9 01/10/2018 15:57 Road S2
20181001 1 zz 178 01/10/2018 13:01 Chase T3
20181001 1 zz 231 02/10/2018 02:51 None None
请帮我。谢谢
解决方案
好的,这是我的解决方案。希望它对您的情况足够好。这是我目前的技能水平所能提供的。另一种方法是遍历一个表,并在 START_TIME 和 END_TIME 之间应用条件检查,但我决定采用这种方法,因为您说表中有数百万行。
此处的步数取决于您在 DF2 中的 START_TIME 的 bin。我的解决方案需要 2 个步骤,因为我首先加入半小时 START_TIME,然后在每小时 START_TIME 重复一次。
import pandas as pd
import datetime
df1 = pd.read_excel('my_sample_data.xls')
df2 = pd.read_excel('my_sample_data2.xls')
# Construct a new index column for df1 - based on half-hourly START_TIME
df1['localtime'] = pd.to_timedelta(df1.loc[:, 'localtime'])
df1['START_TIME'] = df1.loc[:,'localtime'].apply(lambda x: x.floor('1800s'))
df1['START_TIME'] = df1.loc[:,'START_TIME'].apply(lambda x: x + datetime.datetime(1970,1,1))
# Drop unneeded colums
df2 = df2.loc[:,['START_TIME', 'prodid', 'Product_info', 'Name']]
df2.set_index(['prodid', 'START_TIME'], inplace=True)
df = df1.join(df2, on=['prodid', 'START_TIME'])
# Good portion
df_done = df.loc[df['Name'].isnull() == False]
# Bad portion
df_nan = df.loc[df['Name'].isnull() == True, ['period', 'houseid', 'custid', 'prodid', 'localtime']]
# Some ranges in DF2 come with hourly frequencies. Repeat the same process above for this case
df_nan['START_TIME'] = df_nan.loc[:,'localtime'].apply(lambda x: x.floor('3600s'))
df_nan['START_TIME'] = df_nan.loc[:,'START_TIME'].apply(lambda x: x + datetime.datetime(1970,1,1))
df_nan = df_nan.join(df2, on=['prodid', 'START_TIME'])
df = pd.concat([df_done, df_nan])
df['localtime'] = df.loc[:, 'localtime'].apply(lambda x: x + datetime.datetime(1970,1,1))
>>>df
period houseid custid prodid localtime START_TIME Product_info Name
0 20181001 1 aa 2 2018-01-10 19:04:00 2018-01-10 19:00:00 GHI Xab
2 20181001 1 zz 178 2018-01-10 13:01:00 2018-01-10 13:00:00 Chase T3
1 20181001 1 zz 9 2018-01-10 15:57:00 2018-01-10 15:00:00 Road S2
3 20181001 1 zz 231 2018-02-10 02:51:00 2018-02-10 02:00:00 NaN NaN
推荐阅读
- android - 在图像上叠加透明视频并在 android 中使用 FFmpeg 导出为 GIF
- postgresql - 在 postgresql 中查找辅助键的重复项
- javascript - 无法让 vue3-google-map 在 codepen 中工作
- typescript - 如何根据联合类型的通用扩展键缩小类型
- vb.net - 我需要从时间报表列表中提取工作时间休息 [C# | VB.Net]
- questdb - 从不同 IP 到 QuestDB 的同时读取限制?
- anychart - AnyGantt 阻止计算孩子的父母日期
- java - 如何将 gservice 帐户集成到 java 应用程序?
- vb.net - Graphics.DrawImage 似乎没有画出所有的形状
- java - 在 Swagger 注释中从 SpringBoot Yaml 配置文件中替换 ${...}