首页 > 技术文章 > 内容总结梳理

Yiren-33 2017-03-26 07:06 原文

度量是根据实验最后的目的进行选择。

 

95%置信区间是经过不断重复的实验,我们认为我们在样本均值附近建立的区域会有95%的几率会覆盖真正的值。

 

要用假设检验来确保实验的统计显著性:要计算结果是偶然出现的可能性,当P<a(0.05)则具有统计显著性

 

确定完统计显著性之后,要确定怎样的点击概率变化具有实质显著性:由于每次变更都要牵扯到投资的资本问题,所以你要确保每次的变更具有实际显著性才能推出变更。

但是在网络世界中1%或2%的改变已经很大了。所以真正需要注意的是实验的可重复性,而统计显著性讨论的就是可重复性。所以在设置实验的时候你要保证这些结果是可重复的,那就具有统计显著性。但也要从商业的角度来看在实验中你也看到了你感兴趣的改变,它就同时具有统计显著性和实际显著性。 

所以要恰当地设置实验的规模,确保统计显著性条柱低于实际显著性的条柱。

所以要在实验中选择一个实际显著性的边界,在网络商业角度来看,2%的变更就具有实际显著性。

 

推荐阅读