statistics - 如何在 A/B 测试中检查两组之间的显着差异

在我作为数据分析师的工作中，我们有一堆与电子邮件和电子商务相关的指标，我们目前在进行 A/B 测试时不使用任何显着性标准，例如置信区间或 p 值。我想改变它以使事情在统计上更加严格。

例如，如果我向每个组发送 10,000 封电子邮件，我们会得到以下结果（调用顶部组 A 和底部组 B）

发表	打开	点击次数	点击/投放	点击/打开	订单	收入	平均订单价值
10000	2500	150	0.015	0.06	20	4000 美元	200 美元
10000	3000	400	0.04	0.133	10	3000 美元	300 美元

有哪些方法可以检查每列中的值之间的显着差异？我的第一个想法是在 R 中多次使用一个样本 t 检验，但我不确定是否有更好的方法，或者这种方法是否正确。

理想情况下，我会拥有更多数据，例如电子邮件发送到的每个人的指标。但我只是没有那个。虽然对于百分比列，我可以做一个比例测试来比较它们。

我认为我遇到的最大问题是没有差异，因为每个组的每一列都有一个值。我不知道是否有一种统计学上严谨的方法来比较两个原始数字，看看它们是否有显着差异而没有任何差异。

我遇到了这篇论文，它可以简化很多事情，但我从未在其他地方见过这种方法。

标签： statistics