ab-testing - 了解 AB 测试输出和后续步骤

Question

在一家基于 b2c 应用程序的公司的数据主管职位的面试中，我一直在处理以下问题，但我没有设法正确回答。想更好地理解它：

以下是过去一个月运行的测试的 A/B 测试统计数据。该测试检查应用程序付费专区的设计更改，试图优化收入（计划未更改）。查看数据并提供有关测试的意见/建议。

变体	桶大小	real_piano_users	订户	销售量	阿尔普	每年_pct	六个月_pct	三个月_pct
控制	98765	34567	4938	548,888.33 美元	($5.53) $5.56 ($5.59)	80.30%	9.92%	9.78%
测试	97968	34778	5142	557,680.75 美元	($5.66) $5.69 ($5.72)	77.17%	7.18%	15.65%

提供了以下图例：
bucket_size - 已分配给变体
real_piano_users的用户数量 - 拥有实际钢琴/键盘
订阅者的用户数量 - 购买订阅
销售的用户数量 -产生的总美元金额变体
arpu - 每个用户的平均收入；包含括号中的置信区间
yearly_pct - 购买年度订阅的订阅者的百分比
Sixmonths_pct - 购买 6 个月订阅的订阅者的百分比
threemonth_pct- 购买 3 个月订阅的订阅者的百分比
年度计划成本- 120 美元
600 万美元计划成本- 90 美元
300 万美元计划成本- 60 美元

这是我的回答：

1. 我们的主要假设是测试设置在订阅者和收入方面将比控制设置具有更好的性能
   
2. 该测试显示订阅者增加了 4.1%，并且具有统计学意义（99% 置信度，P 值 6.1E-03）
   
3. ARPU 的提升并不显着，年度 CPT 的变化也不显着
   
4. 3 个月的订阅者增加了 60% 是显着的，但是与控制设置相比，6 个月的订阅者下降了。这实际上意味着我们的测试带来了更多愿意在更短的时间内试用产品的用户，以换取更忠诚的客户。
   
5. 考虑到 6 个月订阅者损失 10.8 万美元，以及 3 个月订阅者增加 1.934 万美元，收入净增加 8.3 万美元（由于统计上不显着，未考虑年度计划）。
   
6. 看来我们需要在测试成功之前进行进一步调查，试图了解所提到的下降的性质以及是否可以在进一步的测试中减轻它。此外，试图了解为什么年度订阅者没有增加。
   

由于我是 A\B 测试的新手，我真的很感谢任何能够理解我的错误的线索。
谢谢

标签： ab-testing