ab-testing - 无需实验就推出新产品

Question

如果无法进行实验，如何推出新产品？或者如何调整指标以便进行实验？

此链接中的示例：https ://hbr.org/2018/11/using-experiments-to-launch-new-products

优步想推出 Express Pool，所以他们进行了典型的 A/B 测试并比较指标，但在这种情况下，他们有指标可以在产品推出前后进行比较（每位用户的收入、每位用户的平均行程等）

但是，如果这是一个全新的产品呢？示例：优步试图推出钱包？

如果我没有反事实，我该怎么办？

标签： ab-testingproduct-management

Answer 1

您并不总是需要提出特定的假设并对其进行验证。有时最好了解和量化新功能如何影响产品的整体健康状况。过去很多时候，当我们向少数用户公开一项新功能时，我们会很快确定一切是否按预期工作，或者是否会产生无法预料的后果。

如果没有正确的工具，这很难做到。提供产品健康状况整体视图的此类工具之一是Statsig。以下是您构建和推出新功能时预期的快速屏幕截图（无需设置正式的 A/B 实验）。

免责声明：我在 Statsig 工作