python - 根据特征工具中的截止时间创建特征
问题描述
我正在使用功能工具,我需要创建一个使用截止时间进行计算的功能。
我的实体集包括一个客户表和一个订阅表(它有更多,但对于这个问题,只有这些是必要的):
import featuretools as ft
import pandas as pd
client_table = pd.DataFrame({'client_id': (1,2,3),
'start_date': (dt.date(2015,1,1),dt.date(2017,10,15),dt.date(2011,1,10))})
subscription_table = pd.DataFrame({'client_id': (1,3,1,2),
'start_plan_date': (dt.date(2015,1,1),dt.date(2011,1,10), dt.date(2018,2,1),dt.date(2017,10,15)),
'end_plan_date':(dt.date(2018,2,1),dt.date(2019,1,10), dt.date(2021,2,1),dt.date(2019,10,15))})
客户表
client_id start_date
0 1 2015-01-01
1 2 2017-10-15
2 3 2011-01-10
子表
subscription_id client_id start_plan_date end_plan_date
0 1 1 2015-01-01 2018-02-01
1 2 3 2011-01-10 2019-01-10
2 3 1 2018-02-01 2021-02-01
3 4 2 2017-10-15 2019-10-15
我使用 client_id 作为键并将 start_date 设置为 time_index 创建了实体集
es = ft.EntitySet()
es = es.entity_from_dataframe(entity_id="client",
dataframe=client_table,
index="client_id",
time_index="start_date")
es = es.entity_from_dataframe(entity_id="subscription",
dataframe=subscription_table,
index="subscription_id",
time_index="start_plan_date",
variable_types={"client_id": ft.variable_types.Index,
"end_plan_date": ft.variable_types.Datetime})
relation= ft.Relationship(es["client"]["client_id"],es["subscription"]["client_id"])
es = es.add_relationship(relation)
print(es)
出去:
Entityset: None
Entities:
subscription [Rows: 4, Columns: 4]
client [Rows: 3, Columns: 2]
Relationships:
subscription.client_id -> client.client_id
现在,我需要创建一个功能来估计每个客户的截止时间(即 01/01/2018)和最近的 end_plan_date 之间的时间。以代数形式计算应该是
time_remaining_in_plan = max(subscription.end_plan_date - cutoff_time)
我还需要计算自客户端启动以来的时间量:
time_since_start = cutoff_time - client.start_date
在我的示例中,这些功能的预期输出应该如下所示(我假设时间差以天为单位,但也可能是几个月,我也使用截止时间的时间范围):
client_id cutoff_time time_remaining_in_plan time_since_start
0 3 2018-10-31 71 2851
1 3 2018-11-30 41 2881
2 1 2018-10-31 824 1399
3 1 2018-11-30 794 1429
4 2 2018-10-31 349 381
5 2 2018-11-30 319 411
有没有办法使用特征工具来创建可以生成此结果的自定义原语(聚合或转换)或种子特征?
谢谢!!
解决方案
这可以通过使用use_calc_time
参数的自定义原语来完成。此参数将设置原语,以便在计算期间将截止时间传递给它。
在您的情况下,我们需要定义两个原语
from featuretools.primitives import make_trans_primitive
from featuretools.variable_types import Datetime, Numeric
def time_until(array, time):
diff = pd.DatetimeIndex(array) - time
return diff.days
TimeUntil = make_trans_primitive(function=time_until,
input_types=[Datetime],
return_type=Numeric,
uses_calc_time=True,
description="Calculates time until the cutoff time in days",
name="time_until")
def time_since(array, time):
diff = time - pd.DatetimeIndex(array)
return diff.days
TimeSince = make_trans_primitive(function=time_since,
input_types=[Datetime],
return_type=Numeric,
uses_calc_time=True,
description="Calculates time since the cutoff time in days",
name="time_since")
然后我们可以在调用中使用原语ft.dfs
cutoff_times = pd.DataFrame({
"client_id": [1, 1, 2, 2, 3, 3],
"cutoff_time": pd.to_datetime([dt.date(2018,10,31), dt.date(2018,11,30)]*3)
})
fm, fl = ft.dfs(entityset=es,
target_entity="client",
cutoff_time=cutoff_times,
agg_primitives=["max"],
trans_primitives=[TimeUntil, TimeSince],
cutoff_time_in_index=True)
# these columns correspond to time_remaining_in_plan and time_since_start
fm = fm[["MAX(subscription.TIME_UNTIL(end_plan_date))", "TIME_SINCE(start_date)"]]
这返回
MAX(subscription.TIME_UNTIL(end_plan_date)) TIME_SINCE(start_date)
client_id time
1 2018-10-31 -272 1399
2 2018-10-31 349 381
3 2018-10-31 71 2851
1 2018-11-30 -302 1429
2 2018-11-30 319 411
3 2018-11-30 41 2881
这与您在答案中寻找的结果相匹配,但time_remaining_in_plan
客户端 ID 1 除外。我仔细检查了 Feauturetools 出现的数字,我相信它们适合该数据集。
推荐阅读
- javascript - 计算嵌套 json 的子元素中的值并将其作为新元素添加到原始嵌套 json
- docker - 无法从局域网访问 docker
- python - 如何使用 Flask 路由功能共享 Tensorflow Keras 模型?
- java - Spring MVC Ajax:将空数组传递给 Ajax 控制器
- javascript - 使用 for 循环添加段落
- javascript - 在 SuiteScript 中单击(addSubmitButton)“发送”按钮后文本验证不成功后如何发出警报?
- javascript - 循环 div 并将其作为单独的组件和循环有什么区别?
- excel - 为什么 Excel.Application.InputBox 会留下隐藏的 Excel 进程?
- python - 如何在 scipi linalg 求解器期间使所有核心工作?
- c - 使用 fgets 和 strtok 在 C 中读取 CSV 文件仅读取第一列