ab-testing - 如果处理效果已经大于功效分析期间使用的 δ（效果大小），您是否还需要在 A/B 测试之后进行显着性测试？

Question

假设我们正在设计一个 A/B 测试。我们执行以下步骤：

1. 使用预定义的 δ（效应大小）、α 和 β 执行功率分析以设置样本大小。
2. 使用步骤 1 中确定的样本量运行 A/B 测试
3. 对A/B测试结果进行显着性测试，看治疗效果是否显着。

问题是，如果从第 2 步，我们可以看到治疗效果已经 > δ，我们还需要第 3 步吗？

标签： ab-testingproduct-management

Answer 1

你绝对仍然需要做一个重要的测试。这应该是 A/B 测试中相当微不足道但至关重要的部分。在大多数情况下，您应该能够从功率计算中借用工作，但我不会捷径并完全跳过显着性检验。我能想到几个重要的原因：

1. 标准误差可能高于预期，因此即使您的治疗效果更高，结果仍可能缺乏统计学意义。
2. 获得 p 值是 A/B 测试的重要结果。了解结果的重要性可能不会改变您的决定，但它有助于解释实验，尤其是当您必须将其与其他 A/B 测试进行比较时。
3. 了解置信区间很重要。所有结果都是模糊的，确切地知道您的 A/B 测试结果有多模糊或准确通常有助于更多地了解您的治疗效果。

如果您已经完成了功效分析，那么运行统计测试应该相当容易。