tensorflow-data-validation - 如何启用数值特征漂移？

Question

我想在不设置域的情况下启用数值特征漂移。例如：我根据年龄对客户进行评分，在我的训练集中我有一个均匀分布的变量。现在，在我的服务数据中，所有客户都是 50 多岁（域不会捕捉到这种转变）。是否有任何选项来标记需要在 tfdv 重新培训的这种行为？

我尝试给 tfdv 两个分布 N(0,1) 和 N(10,1) 但没有检测到异常。

编辑：漂移仅适用于分类特征。

标签： tensorflow-data-validation

Answer 1

TFDV 添加了一个新功能，允许我们检测数字特征的偏差。在 中指定jensen_shannon_divergence阈值而不是infinity_norm阈值skew_comparator。

例子：

tfdv.get_feature(schema, 'total_actions').skew_comparator.jensen_shannon_divergence.threshold = 0.01

你可以在这里查看更多信息：https ://www.tensorflow.org/tfx/data_validation/get_started#checking_data_skew_and_drift