python - 如何在功能工具中通过多个 id 创建新变量?
问题描述
我有一个数据集,每个成员和每个交易都有一行,并且购买可能来自“brand_id”的不同商店。我想使用功能工具来制作每个成员一行的输出,每个品牌 ID 汇总“收入”。
我想要的是:
import featuretools as ft
import pandas as pd
df = pd.DataFrame({'member_id': [1,1,1,1,2,2,3,4,4,4,4,5,5,5],
'transaction_id': [1,2,3,4,5,6,7,8,9,10,11,12,13,14],
'brand_id': ['A','A','B','B','B','B','A','B','A','B','B','A','B','A'],
'revenue': [32,124,54,12,512,51,12,4,12,412,512,14,89,12]
})
df2 = df.groupby(
['member_id',
'brand_id']
).agg({
'transaction_id': 'count',
'revenue' :['sum', 'mean']}
).reset_index()
df2.columns = ['member_id', 'brand_id', 'transactions', 'revenue_sum', 'revenue_mean']
df2 = df2.pivot(index='member_id',
columns='brand_id',
values=['transactions',
'revenue_sum',
'revenue_mean']
).fillna(0
).reset_index()
groups = ['A', 'B']
df2.columns = ['memberid'] + \
[x + '_transactions_count' for x in groups] + \
[x + '_revenue_sum' for x in groups] + \
[x + '_revenue_mean' for x in groups]
这是输出的样子:
这是我使用功能工具的尝试,但无论我尝试了什么,我都无法创建由“brand_id”的每个唯一值分解的新变量。
es = ft.EntitySet(id = 'my_set')
es.entity_from_dataframe(entity_id='members',
index='member_id',
dataframe = pd.DataFrame({'member_id':[1,2,3,4,5]})
)
es.entity_from_dataframe(entity_id='trans',
index='transaction_id',
variable_types = {'brand_id': ft.variable_types.Id},
dataframe=df.copy()
)
# create the relationship
r_member_accrual = ft.Relationship(es['members']['member_id'],
es['trans']['member_id'])
# add the relationship to the entity set
es = es.add_relationship(r_member_accrual)
fm, fl = ft.dfs(target_entity='members',
entityset=es,
agg_primitives=['sum','mean','count'],
groupby_trans_primitives=["cum_sum"],
primitive_options={
'cum_sum': {
'ignore_groupby_variables': {'trans':['member_id']}
}
}
)
解决方案
您可以使用interesting_values
withwhere_primitives
来汇总每个会员和品牌的收入。我将介绍这个例子。首先,我们使用事务作为基础实体来创建实体集。
es = ft.EntitySet()
es.entity_from_dataframe(
entity_id='transactions',
index='transaction_id',
dataframe=df,
)
然后,我们对成员和品牌的实体进行规范化。这将自动创建关系。
es.normalize_entity(
base_entity_id='transactions',
new_entity_id='brands',
index='brand_id',
)
es.normalize_entity(
base_entity_id='transactions',
new_entity_id='members',
index='member_id',
)
现在,我们将有趣的值添加到brand_id
事务中。这使我们能够创建以品牌价值为条件的功能。
es['transactions']['brand_id'].interesting_values = ['A', 'B']
最后,我们运行 DFSwhere_primitives
以指定哪些聚合原语可以创建以有趣值为条件的特征。
fm, fl = ft.dfs(
target_entity='members',
entityset=es,
agg_primitives=['sum', 'mean', 'count'],
where_primitives=['sum', 'mean', 'count'],
)
fm.filter(regex='WHERE').round(1).T
member_id 1 2 3 4 5
COUNT(transactions WHERE brand_id = A) 2.0 0.0 1.0 1.0 2.0
COUNT(transactions WHERE brand_id = B) 2.0 2.0 0.0 3.0 1.0
SUM(transactions.revenue WHERE brand_id = A) 156.0 0.0 12.0 12.0 26.0
SUM(transactions.revenue WHERE brand_id = B) 66.0 563.0 0.0 928.0 89.0
MEAN(transactions.revenue WHERE brand_id = A) 78.0 NaN 12.0 12.0 13.0
MEAN(transactions.revenue WHERE brand_id = B) 33.0 281.5 NaN 309.3 89.0
让我知道这是否有帮助。
推荐阅读
- c# - FTP TLS/SSL 自签名 .cert 文件“找不到对象”
- javascript - 有没有一种简单的方法来保存鼠标事件的所有属性?
- r - 无法删除带有字符 * 的行
- javascript - 在比较两张工作表中的两列以了解 Google Apps 脚本的差异时,无法复制多个值
- computer-vision - Haar Cascade - 为什么我训练有素的模型认为一切都是鞋子?
- vba - 如何使用 VBA 将数据列表排序为特定的行/列?
- reactjs - 将鼠标移动的 x 和 y 坐标存储在文本文件中
- sql - 数据库决策和模式设计
- ios - 将新数据添加到 UICollectionView,同时保持当前滚动位置而不会出现 CollectionViewCell 闪烁
- apache-tika - Apache Tika 仅用于解析 Office 文档 - 构建排除项