AB实验样本量确定_abtest最小样本量确定-程序员宅基地
文章目录
在数据分析过程中， 一个完整的闭环是从数据中得到洞察，根据洞察得到某种假设，通过实验检验这一假设。
AB实验实际上是在做一个假设检验，可以参考上一篇笔记【概率论】- (2)假设检验。在查资料的过程中，查到AB实验主要有两种检验方式（不同的样本量，不同的检验方式）——
- Z检验，即检验实验组与对照组服从分布的均值是否相等
- 卡方检验，即检验实验组是否服从理论分布（将对照组看成理论分布）
这里以Z检验为例，介绍如何确定AB实验中实验组与对照组的样本量，提供相应的代码，卡方检验原理相似。
1. 统计功效与关键概念
在假设检验中有以下两类错误——
- 弃真：原假设为真，而我们拒绝原假设，这种错误称为一型错误
- 取伪：原假设为假，而我们接受原假设，这种错误称为二型错误
在教科书中一般只限定显著性水平为 α \alpha α，即只考虑一型错误的概率，而不考虑二型错误。但在实际应用中（如AB实验），二型错误也必须限定在较低的范围内。如下例子，这种情况下即使 α \alpha α 足够小，实验结果仍不够具有说服性。
假设实验的显著性水平 α = 0.01 \alpha=0.01 α=0.01，二型错误概率 β = 0.5 \beta=0.5 β=0.5，这意味着——
- 若原假设为真，我们判断出错（即拒绝）的概率为1%；
- 若原假设为假，我们判断出错（即接受）的概率为50%。
上面说的考虑二型错误，更常见的是考虑统计功效Statistical Power。
统计功效是指当原假设为假，拒绝原假设的概率。因此有 p o w e r = 1 − β power = 1-\beta power=1−β。
通过求解统计功效，即可得到统计功效与 α 、 n \alpha、n α、n 的关系式。反过来，知道 α 、 p o w e r \alpha、power α、power 后就可以求出所需的样本量。
2. Z检验样本量确定
2.1 统计功效公式推导
- 原假设与备择假设如下：
H 0 : μ A = μ B H 1 : μ A ≠ μ B (1) H_0:\mu_A=\mu_B \\ H_1:\mu_A \ne\mu_B\tag{1} H0:μA=μBH1:μA=μB(1)
- 令 δ = μ A − μ B \delta=\mu_A-\mu_B δ=μA−μB，按照二型错误的概念，假设 σ A = σ B = σ \sigma_A=\sigma_B=\sigma σA=σB=σ， 有
β = P ( 接 受 H 0 ∣ H 0 为 假 ) = P ( − z α / 2 ≤ x ˉ A − x ˉ B σ / n A + n B ≤ z α / 2 ∣ δ ≠ 0 ) = P ( − z α / 2 − δ σ / n A + n B ≤ ( x ˉ A − x ˉ B ) − δ σ / n A + n B ≤ z α / 2 − δ σ / n A + n B ) = ϕ ( z α / 2 − δ σ / n A + n B ) ) − ϕ ( − z α / 2 − δ σ / n A + n B ) ) (2) \begin{aligned} \beta&=P(接受H_0|H_0为假)\\ &=P(-z_{\alpha/2}\le \frac{\bar x_A-\bar x_B}{\sigma/\sqrt{n_A+n_B}}\le z_{\alpha/2}|\delta \ne 0)\\ &=P(-z_{\alpha/2}-\frac{\delta}{\sigma/\sqrt{n_A+n_B}}\le \frac{(\bar x_A-\bar x_B)-\delta}{\sigma/\sqrt{n_A+n_B}}\le z_{\alpha/2}-\frac{\delta}{\sigma/\sqrt{n_A+n_B}})\\ &=\phi(z_{\alpha/2}-\frac{\delta}{\sigma/\sqrt{n_A+n_B}}))-\phi(-z_{\alpha/2}-\frac{\delta}{\sigma/\sqrt{n_A+n_B}})) \tag{2} \end{aligned} β=P(接受H0∣H0为假)=P(−zα/2≤σ/nA+nBxˉA−xˉB≤zα/2∣δ=0)=P(−zα/2−σ/nA+nBδ≤σ/nA+nB(xˉA−xˉB)−δ≤zα/2−σ/nA+nBδ)=ϕ(zα/2−σ/nA+nBδ))−ϕ(−zα/2−σ/nA+nBδ))(2)
注意，由于 H 0 H_0 H0 为假，即 μ A ≠ μ B \mu_A \ne \mu_B μA=μB， X ˉ A − X ˉ B σ / n A + n B \frac{\bar X_A-\bar X_B}{\sigma/\sqrt{n_A+n_B}} σ/nA+nBXˉA−XˉB 不服从正态分布，所以需要转化为 ( X ˉ A − X ˉ B ) − δ σ / n A + n B \frac{(\bar X_A-\bar X_B)-\delta}{\sigma/\sqrt{n_A+n_B}} σ/nA+nB(XˉA−XˉB)−δ 才服从标准正态分布。
- 令 z = μ A − μ B σ / n A + n B z=\frac{\mu_A-\mu_B}{\sigma/\sqrt{n_A+n_B}} z=σ/nA+nBμA−μB，由统计功效与二型错误的关系，有
p o w e r = 1 − β = 1 − ϕ ( z α / 2 − z ) + ϕ ( − z α / 2 − z ) = ϕ ( − z α / 2 + z ) + ϕ ( − z α / 2 − z ) (3) \begin{aligned} power=1-\beta&=1-\phi(z_{\alpha/2}-z)+\phi(-z_{\alpha/2}-z)\\ &=\phi(-z_{\alpha/2}+z)+\phi(-z_{\alpha/2}-z) \tag{3} \end{aligned} power=1−β=1−ϕ(zα/2−z)+ϕ(−zα/2−z)=ϕ(−zα/2+z)+ϕ(−zα/2−z)(3)
- 这样就得到了统计功效power的表达式。
2.2 样本量计算公式
上述推导出了统计功效的计算公式，当然计算样本量已经有很多工具，比如Z检验计算样本量工具，这个工具中也提供了计算公式，与上面推导出的类似，注意区别在于这个工具的 z 1 − α / 2 z_{1-\alpha/2} z1−α/2 是下分位点，上述推导是上分位点。
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ZNfRPmiW-1578711729921)(/)]](https://img-blog.csdnimg.cn/20200111185343427.png)
从这个网站的公式中也可以看到样本量的计算公式。
2.3 求解样本量
python中提供了假设检验的函数（R中也有类似的函数，参考pwr功效分析R包），Z检验的函数定义如下，使用的时候提供参数，留一个未知参数（None），返回值为未知参数的计算结果，看后面的具体例子。
from statsmodels.stats.power import NormalIndPower
NormalIndPower().solve_power(
effect_size=None,
nobs1=None,
alpha=None,
power=None,
ratio=1.0,
alternative='two-sided',
)
第一个参数effect_size表示效应量，代表不同处理下总体差异的大小（即判断有没有差别，还要判断差多少）。在Z检验中确定样本量可以使用 ∣ μ A − μ B ∣ σ \frac{|\mu_A-\mu_B|}{\sigma} σ∣μA−μB∣ 近似效应量。
假设原方案的留存率为0.40，新方案的留存率预计为0.45，方差为1，则求解样本量如下：
-
使用python函数计算，得到第一组为6280人，第二组与第一组相等（ratio=1）
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ClWNUq8L-1578711729922)(/)]](https://img-blog.csdnimg.cn/20200111185509977.png)
-
按照公式计算，两个Z值查表得到，代入公式，求得样本量均为6280，与上面一致
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-axldEgEd-1578711729923)(/)]](https://img-blog.csdnimg.cn/20200111185537213.png)
-
使用Z检验计算样本量工具，结果为6267，与上述计算结果差异较小，猜测为效应量公式不同。使用另一个Z检验计算样本量工具计算结果则相同，为6280
3. 卡方检验样本量确定
卡方检验的推导思路应该与Z检验大致相同，我没有去尝试，这里直接用python函数求解，并与工具对比。
3.1 求解样本量
python提供的卡方检验函数如下，使用方法与Z检验的函数相同。
from statsmodels.stats.power import GofChisquarePower
GofChisquarePower().solve_power(
effect_size=None,
nobs=None,
alpha=None,
power=None,
n_bins=2,
)
卡方检验中，四格表的效应量计算公式如下（百度百科-效应量）:
ϕ = χ 2 n = n ( a d − b c ) 2 / [ ( a + b ) ( c + d ) ( a + c ) ( b + d ) ] n = ( a d − b c ) 2 / [ ( a + b ) ( c + d ) ( a + c ) ( b + d ) ] \phi=\sqrt{\frac{\chi^2}{n}}=\sqrt{\frac{n(ad-bc)^2/[(a+b)(c+d)(a+c)(b+d)]}{n}}=\sqrt{(ad-bc)^2/[(a+b)(c+d)(a+c)(b+d)]} ϕ=nχ2=nn(ad−bc)2/[(a+b)(c+d)(a+c)(b+d)]=(ad−bc)2/[(a+b)(c+d)(a+c)(b+d)]
假设原方案的留存率为0.40，新方案的留存率预计为0.45，方差为1，则求解样本量如下：
-
使用python函数计算，样本量为3068，则每组1534
-
使用卡方检验计算样本量工具结果如下，每组样本量为1514，与上述函数结果有较小差异
-
使用另一个卡方检验计算样本量工具结果如下，每组样本量也为1514
两个工具均为1514，猜测与我们自己计算的结果不同原因为效应量计算方式不同。
4. 简要总结
因为没有实际进行过AB实验，不太清楚实际应用中使用的是哪种方式。个人认为卡方检验更为方便实用，一方面是样本量更少，实验成本更低，另一方面需要提供的参数也更少（不需要提供方差）。
以上是我对于AB实验样本量计算的一些思考，如有错误，请大佬指正～
Reference
-
《浙江大学概率论与数理统计第四版》
智能推荐
攻防世界_难度8_happy_puzzle_攻防世界困难模式攻略图文-程序员宅基地
文章浏览阅读645次。这个肯定是末尾的IDAT了，因为IDAT必须要满了才会开始一下个IDAT，这个明显就是末尾的IDAT了。，对应下面的create_head()代码。，对应下面的create_tail()代码。不要考虑爆破，我已经试了一下，太多情况了。题目来源：UNCTF。_攻防世界困难模式攻略图文
达梦数据库的导出（备份）、导入_达梦数据库导入导出-程序员宅基地
文章浏览阅读2.9k次，点赞3次，收藏10次。偶尔会用到，记录、分享。1. 数据库导出1.1 切换到dmdba用户su - dmdba1.2 进入达梦数据库安装路径的bin目录，执行导库操作 导出语句：./dexp cwy_init/[email protected]:5236 file=cwy_init.dmp log=cwy_init_exp.log 注释： cwy_init/init_123..._达梦数据库导入导出
js引入kindeditor富文本编辑器的使用_kindeditor.js-程序员宅基地
文章浏览阅读1.9k次。1. 在官网上下载KindEditor文件，可以删掉不需要要到的jsp，asp，asp.net和php文件夹。接着把文件夹放到项目文件目录下。2. 修改html文件，在页面引入js文件：<script type="text/javascript" src="./kindeditor/kindeditor-all.js"></script><script type="text/javascript" src="./kindeditor/lang/zh-CN.js"_kindeditor.js
STM32学习过程记录11——基于STM32G431CBU6硬件SPI+DMA的高效WS2812B控制方法-程序员宅基地
文章浏览阅读2.3k次，点赞6次，收藏14次。SPI的详情简介不必赘述。假设我们通过SPI发送0xAA，我们的数据线就会变为10101010，通过修改不同的内容，即可修改SPI中0和1的持续时间。比如0xF0即为前半周期为高电平，后半周期为低电平的状态。在SPI的通信模式中，CPHA配置会影响该实验，下图展示了不同采样位置的SPI时序图[1]。CPOL = 0，CPHA = 1：CLK空闲状态 = 低电平，数据在下降沿采样，并在上升沿移出CPOL = 0，CPHA = 0：CLK空闲状态 = 低电平，数据在上升沿采样，并在下降沿移出。_stm32g431cbu6
计算机网络-数据链路层_接收方收到链路层数据后,使用crc检验后,余数为0,说明链路层的传输时可靠传输-程序员宅基地
文章浏览阅读1.2k次，点赞2次，收藏8次。数据链路层习题自测问题1.数据链路(即逻辑链路)与链路(即物理链路)有何区别?“电路接通了”与”数据链路接通了”的区别何在?2.数据链路层中的链路控制包括哪些功能?试讨论数据链路层做成可靠的链路层有哪些优点和缺点。3.网络适配器的作用是什么?网络适配器工作在哪一层?4.数据链路层的三个基本问题(帧定界、透明传输和差错检测)为什么都必须加以解决？5.如果在数据链路层不进行帧定界，会发生什么问题？6.PPP协议的主要特点是什么？为什么PPP不使用帧的编号？PPP适用于什么情况？为什么PPP协议不_接收方收到链路层数据后,使用crc检验后,余数为0,说明链路层的传输时可靠传输
软件测试工程师移民加拿大_无证移民，未受过软件工程师的教育（第1部分）-程序员宅基地
文章浏览阅读587次。软件测试工程师移民加拿大 无证移民，未受过软件工程师的教育(第1部分) (Undocumented Immigrant With No Education to Software Engineer(Part 1))Before I start, I want you to please bear with me on the way I write, I have very little gen...
随便推点
Thinkpad X250 secure boot failed 启动失败问题解决_安装完系统提示secureboot failure-程序员宅基地
文章浏览阅读304次。Thinkpad X250笔记本电脑，装的是FreeBSD，进入BIOS修改虚拟化配置（其后可能是误设置了安全开机），保存退出后系统无法启动，显示：secure boot failed ，把自己惊出一身冷汗，因为这台笔记本刚好还没开始做备份.....根据错误提示，到bios里面去找相关配置，在Security里面找到了Secure Boot选项，发现果然被设置为Enabled，将其修改为Disabled ，再开机，终于正常启动了。_安装完系统提示secureboot failure
C++如何做字符串分割（5种方法）_c++ 字符串分割-程序员宅基地
文章浏览阅读10w+次，点赞93次，收藏352次。1、用strtok函数进行字符串分割原型： char *strtok(char *str, const char *delim);功能：分解字符串为一组字符串。参数说明：str为要分解的字符串，delim为分隔符字符串。返回值：从str开头开始的一个个被分割的串。当没有被分割的串时则返回NULL。其它：strtok函数线程不安全，可以使用strtok_r替代。示例：//借助strtok实现split#include <string.h>#include <stdio.h&_c++ 字符串分割
2013第四届蓝桥杯 C/C++本科A组 真题答案解析_2013年第四届c a组蓝桥杯省赛真题解答-程序员宅基地
文章浏览阅读2.3k次。1 .高斯日记 大数学家高斯有个好习惯：无论如何都要记日记。他的日记有个与众不同的地方，他从不注明年月日，而是用一个整数代替，比如：4210后来人们知道，那个整数就是日期，它表示那一天是高斯出生后的第几天。这或许也是个好习惯，它时时刻刻提醒着主人：日子又过去一天，还有多少时光可以用于浪费呢？高斯出生于：1777年4月30日。在高斯发现的一个重要定理的日记_2013年第四届c a组蓝桥杯省赛真题解答
基于供需算法优化的核极限学习机(KELM)分类算法-程序员宅基地
文章浏览阅读851次，点赞17次，收藏22次。摘要：本文利用供需算法对核极限学习机(KELM)进行优化，并用于分类。
metasploitable2渗透测试_metasploitable2怎么进入-程序员宅基地
文章浏览阅读1.1k次。一、系统弱密码登录1、在kali上执行命令行telnet 192.168.26.1292、Login和password都输入msfadmin3、登录成功，进入系统4、测试如下：二、MySQL弱密码登录：1、在kali上执行mysql –h 192.168.26.129 –u root2、登录成功，进入MySQL系统3、测试效果：三、PostgreSQL弱密码登录1、在Kali上执行psql -h 192.168.26.129 –U post..._metasploitable2怎么进入
Python学习之路：从入门到精通的指南_python人工智能开发从入门到精通pdf-程序员宅基地
文章浏览阅读257次。本文将为初学者提供Python学习的详细指南，从Python的历史、基础语法和数据类型到面向对象编程、模块和库的使用。通过本文，您将能够掌握Python编程的核心概念，为今后的编程学习和实践打下坚实基础。_python人工智能开发从入门到精通pdf