tfx - 如何在 Evaluator 中计算附加统计信息？

Question

在 TFX 评估器中，除了以 TFMA 格式描述的指标之外，我想计算与我的模型在我的数据集上的性能相关的统计数据。自然，我还想要一种访问这些统计信息的方法：通过组件的输出，或者让组件在某处上传统计信息。

我想需要一些自定义代码（用于计算和返回统计数据），但我真的不知道有多少以及编写它的最佳方式是什么。关于这个话题的任何想法？

谢谢

标签： tfx

Answer 1

您可以通过 2 种方法实现此目的，具体取决于您如何看待功能在 TFX 流中的位置。

1. 编写自定义 TFX 组件 - 这需要付出很多努力，并且您需要定义很多东西。
2. 重用现有组件 - 我们可以继承现有组件并通过覆盖执行器功能来自定义它，而不是完全从头开始为 TFX 编写组件。

我建议从以下博客开始：
TFX 组件剖析
创建自定义组件