python-3.x - Pandas 映射 2 个数据帧中的值和外连接 + 聚合值
问题描述
你好我有这两个数据框
df_1
title URL number date
a /url-1 1 21-02-2020
a /url-1 10 20-02-2020
a /url-1 17 18-02-2020
b /url-2 100 21-02-2020
b /url-2 106 20-02-2020
df_2
URL number date
/url-1 5 21-02-2020
/url-1 12 20-02-2020
/url-1 50 19-02-2020
/url-2 71 17-02-2020
/url-3 9 21-02-2020
/url-3 11 20-02-2020
所以我需要执行这些操作将它们组合成 1 个数据框:
1) 添加新列调用 df_2["title"] 以将 df_2["URL"] 值映射到 df_1["title"] 中的值
2)将两个数据框外部连接在一起
3) 按“日期”聚合 df_1["number"] 和 df_2["number"] 并将它们相加
这是我想要的结果:
new_df
title URL number date
a /url-1 6 21-02-2020
a /url-1 22 20-02-2020
a /url-1 50 19-02-2020
a /url-1 17 18-02-2020
b /url-2 100 21-02-2020
b /url-2 106 20-02-2020
b /url-2 71 17-02-2020
null /url-3 9 21-02-2020
null /url-3 11 20-02-2020
注意事项:
A)我不能只在“URL”和“日期”上进行外部连接,因为您可以注意到在 df_2;第 3 行(19-02-2020)中的“/url-”在 df_1 中似乎没有相同的日期1"。同样的问题也适用于 df_2;row 4
B)如果我能实现我对 new_df 的要求,我不介意跳过行动 1(如上图所示)
非常感谢您的帮助!:)
解决方案
使用Series.map
with DataFrame.drop_duplicates
,然后新列用于外连接,最后一sum
列:
df_2["title"] = df_2["URL"].map(df_1.drop_duplicates('URL').set_index('URL')["title"])
df = df_1.merge(df_2, on=['title','URL','date'], how='outer', suffixes=('','_'))
df['number'] = df['number'].add(df.pop('number_'), fill_value=0)
print (df)
title URL number date
0 a /url-1 6.0 21-02-2020
1 a /url-1 22.0 20-02-2020
2 a /url-1 17.0 18-02-2020
3 b /url-2 100.0 21-02-2020
4 b /url-2 106.0 20-02-2020
5 a /url-1 50.0 19-02-2020
6 b /url-2 71.0 17-02-2020
7 NaN /url-3 9.0 21-02-2020
8 NaN /url-3 11.0 20-02-2020
如果需要,最后聚合sum
- 因为缺失值是必要的用一些非缺失值替换值:
df = (df.fillna('tmp')
.groupby(['URL', 'date', 'title'], as_index=False)['number']
.sum()
.replace({'tmp':np.nan})
.reindex(df.columns, axis=1))
推荐阅读
- unit-testing - 无法对 cloud_firestore 进行实时单元测试
- c# - 已删除实体上的 SaveChanges 引发 DuplicateKeyException
- java - 为什么我不能从主函数中的 Test 类访问公共变量?
- c++ - 在 vs 2017 和 windows 10 中使用 BLuetoothAPIs.h 获取链接错误
- excel - 在 Excel Solver 中使用 If 语句
- c - aarch64架构中的gcc编译
- c++ - Dll 注入 - LoadLibraryA 失败
- python - Python,熊猫循环仅适用于最后一项
- python - Wagtail:如何获取图像再现 url 并将其与 json 中的其他字段一起传递?
- javascript - 我得到:SyntaxError: missing ) 在参数列表之后,但我看不到任何遗漏