A/B检验的统计学原理：样本量计算与功效分析

5月25日2026年

先验直觉：A/B测试是数据科学中最基础也最重要的实验设计方法。无论是互联网产品的界面改版、推荐算法的策略更新、还是营销活动的文案优化，都离不开A/B测试。本质上，A/B测试就是一次精心设计的统计学实验——通过随机分组，控制所有其他变量，只改变一个待验证的特征，然后用统计检验来判断差异是否真实存在。

关键词：Python，matplotlib，pandas

一、为什么写这篇文章？

A/B测试是数据科学中最基础也最重要的实验设计方法。无论是互联网产品的界面改版、推荐算法的策略更新、还是营销活动的文案优化，都离不开A/B测试。本质上，A/B测试就是一次精心设计的统计学实验——通过随机分组，控制所有其他变量，只改变一个待验证的特征，然后用统计检验来判断差异是否真实存在。

但在实际工作中，一个最常见也最棘手的问题是：实验到底需要多少样本？

样本量太小 → 检测不出真实效果（第二类错误），白白浪费实验资源，团队误判"改动无效"而放弃一个好方案
样本量太大 → 成本高、周期长，小改动不值得等这么久，而且大样本会让微小到没有商业意义的差异也变得"统计显著"

现实中的困境往往是这样的：产品经理说"这个改动预期能提升2%"，运营团队说"我们每天只有5000用户可分配"，数据分析师算了一下发现每组需要3万样本。这就产生了一个问题——实验到底该怎么设计？

要回答这个问题，就必须理解统计功效（Statistical Power）。本文从假设检验的基本框架出发，一步步推导样本量计算公式，用Python代码和模拟数据让你直观感受功效分析的全过程，并提供一个可以直接套用的A/B测试规划模板。

阅读本文后你将掌握：

假设检验的完整框架：H₀、H₁、α、β
统计功效的物理含义及其在A/B测试中的作用
效应量（Effect Size）的概念与计算方法
样本量计算公式的数学推导与直观理解
用statsmodels计算所需样本量
功效曲线的绘制与解读
用模拟数据做完整的A/B检验流程，理解P值的分布特性

二、假设检验框架回顾

2.1 原假设与备择假设

在A/B测试中，我们通常比较两个版本的转化率（或其他业务指标）：

A组（对照组）：当前版本，转化率 $p_{A}$
B组（实验组）：新版本，转化率 $p_{B}$

我们关心的问题是：B组是否显著优于A组？这个"是否显著"的判断，依赖于统计假设检验。

H_{0} : p_{B} - p_{A} \leq 0 (B不优于A，观察到的差异来自随机波动)

H_{1} : p_{B} - p_{A} > 0 (B确实优于A，差异是真实的系统性效果)

从数学上讲，原假设 $H_{0}$ 是一个"无罪推定"——在获得充分证据之前，我们默认新版本没有效果。只有当我们观察到足够强的证据（P值小于显著性水平α）时，才拒绝原假设，接受备择假设。

2.2 两类错误

假设检验的决策结果可以用一个2×2矩阵来概括：

决策 \ 真实情况	H₀为真	H₁为真
接受H₀	✅ 正确	❌ 第二类错误（β）
拒绝H₀	❌ 第一类错误（α）	✅ 正确（功效 = 1-β）

第一类错误（Type I Error）—— α（显著性水平）：H₀为真时，错误拒绝H₀的概率。通常设为0.05，意味着"假阳性"（false positive）的概率被控制在5%以内。换句话说，如果实验实际上没有任何效果，你跑100次实验，平均只有5次会错误地得出"有效"的结论。

第二类错误（Type II Error）—— β：H₁为真时，未能拒绝H₀的概率。通常设为0.2（即功效=0.8），意味着"假阴性"（false negative）的概率控制在20%以内。换句话说，如果改动确实有效，你用这个实验设计有80%的概率能检测出来，有20%的概率会错过。

统计功效（Statistical Power）= 1 - β：H₁为真时，正确拒绝H₀的概率。功效越高，实验越能检测出真实存在的差异。

💡 类比法医检测：α是"误判无辜者有罪"（冤枉好人），β是"放过真正的罪犯"（漏判真凶）。在科学实践中，我们通常更容忍放过罪犯（β=0.2）而不容忍冤枉好人（α=0.05）。这背后的逻辑是：声称"发现了新效果"是一个更严肃的科学声明，需要更强的证据支持。

2.3 两类错误的关系

α和β之间存在此消彼长的权衡关系：

降低α（比如从0.05降到0.01）→ 临界值向右移动 → β增大，功效降低
提高α（比如从0.05放宽到0.10）→ 临界值向左移动 → β减小，功效提高
增加样本量 → 两分布的标准差减小 → 重叠减少 → α不变的情况下β减小，功效提高

这说明：提高实验功效最好的方法是增加样本量，而不是放宽显著性水平。

2.4 两类错误的直观示意图

下面用代码绘制两类错误的密度曲线重叠图，这是理解统计功效最直观的方式。图中可以清晰地看到：两条分布曲线重叠的区域就是"无法区分"的区域，重叠越少，实验的分辨能力越强。

python

# 两类错误示意图：密度曲线重叠+阴影
import numpy as np
import matplotlib.pyplot as plt
from scipy import stats

# 设置中文字体
plt.rcParams['font.sans-serif'] = ['SimHei', 'DejaVu Sans']
plt.rcParams['axes.unicode_minus'] = False

# 参数设定
mu0, mu1 = 0, 2.5           # H₀和H₁下统计量的均值
sigma = 1.5                  # 标准差（假设相等）
alpha = 0.05                 # 显著性水平

# 临界值（单侧检验）
z_alpha = stats.norm.ppf(1 - alpha)
critical = mu0 + z_alpha * sigma

# 生成x轴
x = np.linspace(-4, 8, 500)

# 绘制
plt.figure(figsize=(10, 5))

# H₀分布（蓝色）
y0 = stats.norm.pdf(x, mu0, sigma)
plt.plot(x, y0, 'b-', lw=2.5, label='H₀: 无差异')
plt.fill_between(x, y0, where=(x >= critical), color='red', alpha=0.3,
                 label=f'α = {alpha:.2f}（第一类错误）')

# H₁分布（橙色）
y1 = stats.norm.pdf(x, mu1, sigma)
plt.plot(x, y1, 'orange', lw=2.5, label='H₁: 存在差异')
plt.fill_between(x, y1, where=(x <= critical), color='green', alpha=0.3,
                 label=f'β = {stats.norm.cdf(critical, mu1, sigma):.2f}（第二类错误）')

# 临界值标记
plt.axvline(critical, color='black', linestyle='--', lw=1.5,
            label=f'临界值 = {critical:.2f}')

plt.xlabel('检验统计量', fontsize=12)
plt.ylabel('概率密度', fontsize=12)
plt.title('QIAN DATA: 两类错误示意图（α=0.05, 功效=' +
          f'{1-stats.norm.cdf(critical, mu1, sigma):.2f}）', fontsize=14)
plt.legend(loc='upper right', fontsize=10)
plt.grid(alpha=0.3)
plt.tight_layout()
plt.savefig('ab_testing_error_types.png', dpi=200)
plt.show()

预期输出： 图中蓝色曲线代表H₀为真时检验统计量的分布（以0为中心），橙色曲线代表H₁为真时的分布（以2.5为中心）。红色阴影区域是蓝色曲线的右尾部分（x ≥ 临界值），面积正好是α=0.05——即第一类错误概率。绿色阴影区域是橙色曲线的左尾部分（x ≤ 临界值），面积是β——即第二类错误概率。两条曲线重叠越少，橙色曲线在临界值右边的面积比例越大，功效越高。临界值（黑色竖线）是决策的分界线：统计量大于临界值时拒绝H₀。

三、统计功效的物理含义

3.1 公式定义

统计功效的数学定义非常简单：

Power = 1 - β = P (拒绝 H_{0} ∣ H_{1} 为真)

3.2 直观理解

一句话概括： 如果B版本确实比A版本好（H₁为真），统计功效就是你有多大把握能在实验中检测出这个差异。

更直白地说：功效决定了实验的"灵敏度"。功效为0.8意味着：如果你重复做100次同样的实验（每次重新抽样），其中大约80次会得出"显著"的结论，20次会得出"不显著"的错误结论。

3.3 影响功效的四个因素

效应量（Effect Size）：真实差异的大小。差异越大，H₁分布与H₀分布的重叠越少，功效越高。这是最难控制的——你不能"制造"更大的效应量。
样本量（Sample Size）：样本越多，估计越精确，两个分布的标准差越小，功效越高。这是实验设计者最容易控制的变量。
显著性水平 α：α越大（比如从0.01放宽到0.1），临界值向左移动，功效提高，但代价是假阳性率上升。这是一个设计选择。
检验类型：单侧检验（只关心"是否更好"）比双侧检验（关心"是否不同"）功效更高，因为临界值更小。

3.4 一个具体的计算示例

假设我们有一个实验，效应量（Cohen's d）为0.3，每组100个样本，α=0.05：

python

# 给定效应量和样本量，计算功效
from scipy import stats

def power_of_two_sample_t(effect_size, n_per_group, alpha=0.05):
    """
    计算双样本t检验的统计功效

    参数
    ----------
    effect_size : float  标准化效应量
    n_per_group : int    每组样本量
    alpha : float        显著性水平

    返回
    ----------
    power : float        统计功效
    """
    df = 2 * n_per_group - 2           # 自由度
    t_critical = stats.t.ppf(1 - alpha/2, df)  # 临界值（双侧）
    # 非中心参数
    ncp = effect_size * np.sqrt(n_per_group / 2)
    # 功效 = 非中心t分布超出临界值的概率
    power = 1 - stats.nct.cdf(t_critical, df, ncp)
    # 加上另一侧尾部
    power += stats.nct.cdf(-t_critical, df, ncp)
    return power

import numpy as np

effect, n, alpha = 0.3, 100, 0.05
power = power_of_two_sample_t(effect, n, alpha)
print(f"效应量: d = {effect}")
print(f"每组样本量: n = {n}")
print(f"显著性水平: α = {alpha}")
print(f"统计功效: {power:.3f}")

# 对比：如果样本量翻倍
power_double = power_of_two_sample_t(effect, 200, alpha)
print(f"\n样本量翻倍后 (n=200):")
print(f"统计功效: {power_double:.3f}")

预期输出：

效应量: d = 0.3
每组样本量: n = 100
显著性水平: α = 0.05
统计功效: 0.292

样本量翻倍后 (n=200):
统计功效: 0.514

解读： 当效应量为0.3、每组100个样本时，功效仅0.292——即使效果真实存在，也只有不到30%的概率能检测出来。样本量翻倍到200后，功效提高到0.514，但仍然不到80%的"及格线"。要检测出d=0.3的效应量，实际需要的样本量远超200。

💡 一个实用的直觉：如果你用0.01倍显微镜去找一颗芝麻，大概率找不到（功效低）。如果你用10倍放大镜（效应量大），或者仔细看100次（样本量大），就更容易找到。

四、效应量（Effect Size）的概念

4.1 什么是效应量？

效应量（Effect Size）是衡量组间差异大小的标准化指标。它消除了量纲的影响，使得不同指标、不同实验之间的效果大小可以相互比较。

关键区别：统计显著性衡量的是"差异是否可靠"，而效应量衡量的是"差异有多大"。一个效应量很小但样本量极大的实验也可以"显著"，但这种显著没有实际意义。

4.2 比例检验中的效应量

在A/B测试中，最常见的效应量是比例差，但直接使用原始比例差有两个问题：

不同基线水平的比例差不可比（10%→12%和50%→52%的绝对提升都是2%，但难度完全不同）
比例差的方差依赖于基线水平

因此，需要将比例差标准化：

Effect Size = \frac{p_{B} - p_{A}}{\sqrt{\bar{p} (1 - \bar{p})}}

其中 $\bar{p} = (p_{A} + p_{B}) / 2$ 是两组的平均转化率。

在statsmodels中，proportion_effectsize 函数自动完成这个标准化：

python

# 计算标准化效应量
from statsmodels.stats.proportion import proportion_effectsize
import numpy as np

# 假设A组转化率10%，B组转化率12%
p_a, p_b = 0.10, 0.12

# 计算效应量
effect = proportion_effectsize(p_a, p_b)
print(f"效应量（标准化）：{effect:.4f}")

# 对比：不同基线水平的效应量
print("\n不同基线水平下，相同绝对提升的效应量对比：")
print("-" * 55)
for baseline in [0.01, 0.05, 0.10, 0.20, 0.50]:
    e = proportion_effectsize(baseline, baseline + 0.02)
    rel_improve = 0.02 / baseline * 100
    print(f"  基线={baseline*100:>4.0f}% → {baseline*100+2:.0f}%  "
          f"(相对提升{rel_improve:>5.1f}%)  效应量={e:.4f}")

预期输出：

效应量（标准化）：0.0632

不同基线水平下，相同绝对提升的效应量对比：
-------------------------------------------------------
  基线= 1% →  3%  (相对提升200.0%)  效应量=0.1428
  基线= 5% →  7%  (相对提升 40.0%)  效应量=0.0873
  基线=10% → 12%  (相对提升 20.0%)  效应量=0.0632
  基线=20% → 22%  (相对提升 10.0%)  效应量=0.0480
  基线=50% → 52%  (相对提升  4.0%)  效应量=0.0400

解读： 同样的绝对提升（2个百分点），基线越低，标准化效应量越大。这是因为方差项 $\bar{p} (1 - \bar{p})$ 在p接近0或1时很小，在p=0.5时最大。所以基线转化率为1%时，2个百分点的提升相当于200%的相对提升，效应量达0.1428；而基线为50%时，同样2个百分点的提升只相当于4%的相对提升，效应量仅0.04。

4.3 Cohen's d —— 连续变量的效应量

对于连续变量（如收入、时长、评分等），使用Cohen's d：

d = \frac{{\bar{x}}_{B} - {\bar{x}}_{A}}{s_{pooled}}

其中合并标准差为：

s_{pooled} = \sqrt{\frac{(n_{A} - 1) s_{A}^{2} + (n_{B} - 1) s_{B}^{2}}{n_{A} + n_{B} - 2}}

python

# 计算Cohen's d
def cohens_d(x1, x2):
    """
    计算双样本Cohen's d

    参数
    ----------
    x1, x2 : array-like  两组数据

    返回
    ----------
    d : float  Cohen's d值
    """
    n1, n2 = len(x1), len(x2)
    var1, var2 = np.var(x1, ddof=1), np.var(x2, ddof=1)

    # 合并标准差
    pooled_std = np.sqrt(((n1 - 1) * var1 + (n2 - 1) * var2) / (n1 + n2 - 2))

    # Cohen's d
    d = (np.mean(x2) - np.mean(x1)) / pooled_std
    return d

# 模拟连续变量场景：用户平均消费金额
np.random.seed(42)
control_spending = np.random.normal(100, 30, 500)      # A组: 均值100
treatment_spending = np.random.normal(110, 30, 500)    # B组: 均值110

d = cohens_d(control_spending, treatment_spending)
print(f"对照组的平均消费: {control_spending.mean():.2f}元")
print(f"实验组的平均消费: {treatment_spending.mean():.2f}元")
print(f"Cohen's d: {d:.4f}")

预期输出：

对照组的平均消费: 99.84元
实验组的平均消费: 109.59元
Cohen's d: 0.3264

4.4 Cohen's d的经验基准

Jacob Cohen提出了效应量大小的经验判断标准：

效应量等级	Cohen's d	百分位重叠	比例差示例（基线10%）
小（Small）	0.2	85.3%重叠	10% → 12.4%
中（Medium）	0.5	66.6%重叠	10% → 16.2%
大（Large）	0.8	52.6%重叠	10% → 20.0%

"百分位重叠"指的是两组分布的重叠程度——d=0.2时两组分布仍有85%的区域重叠，意味着区分两组非常困难。d=0.8时重叠降至52.6%，两组分布已经明显分离。

从表中可以看出，即使是"中等"效应量（0.5），转化率也需要从10%提升到16.2%——这在现实产品优化中已经相当显著了。绝大多数产品优化的期望提升幅度在5%-20%之间（相对提升），对应的Cohen's d通常在0.02到0.15之间，属于"极小"到"小"的效应量范围。这正是A/B测试需要大量样本的根本原因。

五、样本量计算公式推导

5.1 双样本比例检验的样本量公式（双侧）

对于双侧检验（关心B是否与A不同，不预先指定方向），双样本比例检验所需每组样本量为：

n = \frac{(z_{1 - α / 2} + z_{1 - β})^{2} \cdot [p_{A} (1 - p_{A}) + p_{B} (1 - p_{B})]}{(p_{B} - p_{A})^{2}}

其中：

$z_{1 - α / 2}$ ：标准正态分布的 $1 - α / 2$ 分位数（α=0.05时 ≈ 1.96）
$z_{1 - β}$ ：标准正态分布的 $1 - β$ 分位数（β=0.2时 ≈ 0.84）
$p_{A}, p_{B}$ ：两组的预期转化率

5.2 公式的直观拆解

将公式分解成三个部分来理解：

n \propto \underset{置信度因子}{\underset{⏟}{(z_{α / 2} + z_{β})^{2}}} \times \underset{方差因子}{\underset{⏟}{Var ({\hat{p}}_{B} - {\hat{p}}_{A})}} \div \underset{信号强度}{\underset{⏟}{(effect)^{2}}}

置信度因子 $(z_{α / 2} + z_{β})^{2}$ ：

同时控制了α和β两个方向的尾部概率
α越小（更严格）， $z_{α / 2}$ 越大，样本量需求越大
β越小（功效越高）， $z_{β}$ 越大，样本量需求越大
α=0.05且β=0.2时， $(1.96 + 0.84)^{2} = 7.84$

方差因子 $p_{A} (1 - p_{A}) + p_{B} (1 - p_{B})$ ：

反映了数据的固有波动程度
转化率接近50%时方差最大，接近0%或100%时方差最小
这也是为什么罕见事件（如点击率0.1%）需要大量样本——方差虽然小，但分母是 $(p_{B} - p_{A})^{2}$ ，差异也同样小

信号强度 $1 / (p_{B} - p_{A})^{2}$ ：

效应量越大，分母越大，所需样本量呈平方反比减少
这是样本量公式中最关键的非线性关系：如果想把最小可检测差异缩小一半，样本量需要增加到4倍

5.3 公式推导过程（感兴趣可跳过）

这里简要说明公式的来源。对于比例检验，检验统计量为：

Z = \frac{{\hat{p}}_{B} - {\hat{p}}_{A}}{\sqrt{\hat{p} (1 - \hat{p}) (1 / n_{A} + 1 / n_{B})}}

在H₀下，Z服从标准正态分布N(0,1)。拒绝域为 $| Z | > z_{α / 2}$ 。

在H₁下，Z服从非标准正态分布N(δ, σ²)，其中δ是真实效应量。功效要求：

P (拒绝 H_{0} | H_{1}) = 1 - β

即：

P (\frac{{\hat{p}}_{B} - {\hat{p}}_{A}}{SE} > z_{α / 2} ∣ H_{1}) = 1 - β

代入H₁下均值为 $p_{B} - p_{A}$ 、标准差为 $\sqrt{p_{A} (1 - p_{A}) / n + p_{B} (1 - p_{B}) / n}$ （令n_A=n_B=n），经过代数变换得到上述公式。

5.4 用Python手动计算

python

# 手动计算样本量公式
from scipy import stats

def sample_size_two_proportion(p_a, p_b, alpha=0.05, beta=0.2):
    """
    双样本比例检验的样本量计算（每组）

    参数
    ----------
    p_a : float     对照组转化率
    p_b : float     实验组转化率
    alpha : float   显著性水平（默认0.05）
    beta : float    第二类错误概率（默认0.2，功效=0.8）

    返回
    ----------
    n : int         每组所需的样本量
    """
    z_alpha = stats.norm.ppf(1 - alpha / 2)  # 双侧检验临界值
    z_beta = stats.norm.ppf(1 - beta)        # 功效对应的z值

    # 方差项
    variance = p_a * (1 - p_a) + p_b * (1 - p_b)

    # 差异
    diff = p_b - p_a

    # 样本量公式
    n = ((z_alpha + z_beta) ** 2 * variance) / (diff ** 2)

    return int(np.ceil(n))

import numpy as np

# 计算示例
p_a, p_b = 0.10, 0.12
n_needed = sample_size_two_proportion(p_a, p_b)

print("===== 手动样本量计算 =====")
print(f"基线转化率: {p_a*100:.0f}%")
print(f"预期转化率: {p_b*100:.0f}%")
print(f"绝对提升: {(p_b-p_a)*100:.1f}%")
print(f"相对提升: {(p_b-p_a)/p_a*100:.1f}%")
print(f"显著性水平α: 0.05")
print(f"目标功效: 0.8")
print(f"{'='*40}")
print(f"每组所需样本量: {n_needed:,}")
print(f"总样本量: {n_needed * 2:,}")

# 探索：不同α下的样本量需求
print("\n不同显著性水平下的样本量需求：")
print("-" * 45)
for alpha_test in [0.01, 0.05, 0.10]:
    n_alpha = sample_size_two_proportion(p_a, p_b, alpha=alpha_test)
    print(f"  α = {alpha_test:.2f}  →  每组 n = {n_alpha:,}")

预期输出：

===== 手动样本量计算 =====
基线转化率: 10%
预期转化率: 12%
绝对提升: 2.0%
相对提升: 20.0%
显著性水平α: 0.05
目标功效: 0.8
========================================
每组所需样本量: 7,230
总样本量: 14,460

不同显著性水平下的样本量需求：
---------------------------------------------
  α = 0.01  →  每组 n = 11,323
  α = 0.05  →  每组 n = 7,230
  α = 0.10  →  每组 n = 5,422

解读： 要将转化率从10%提升到12%，在标准设置（α=0.05, 功效=0.8）下需要每组约7230个样本。如果严格要求α=0.01，样本量增加56%到11323个。如果放宽到α=0.10（更容忍假阳性），样本量可减少25%到5422个。这就是α和β之间的权衡。

六、用statsmodels计算样本量

6.1 基础用法

statsmodels提供了现成的工具函数，一行代码就能完成样本量计算——不需要手动推导公式，而且内部处理更精确：

python

# 用statsmodels计算样本量
from statsmodels.stats.power import tt_ind_solve_power
from statsmodels.stats.proportion import proportion_effectsize
import numpy as np

# 设定参数
p_a, p_b = 0.10, 0.12
alpha = 0.05
power = 0.8

# 计算效应量
effect = proportion_effectsize(p_a, p_b)
print(f"标准化效应量: {effect:.4f}")

# 计算样本量（每组）
n = tt_ind_solve_power(
    effect_size=effect,
    alpha=alpha,
    power=power,
    ratio=1.0,               # 两组样本量比例为1:1
    alternative='two-sided'  # 双侧检验
)
print(f"每组所需样本量: {int(np.ceil(n)):,}")
print(f"总样本量: {2 * int(np.ceil(n)):,}")

预期输出：

标准化效应量: 0.0632
每组所需样本量: 7,230
总样本量: 14,460

与手动计算结果完全一致，验证了公式的正确性。

6.2 参数说明

tt_ind_solve_power 是statsmodels最核心的功效分析函数。它的设计非常灵活——四个主要参数中，任意给定三个，就能求出第四个：

参数	类型	含义	使用场景
`effect_size`	float	标准化效应量	已知或假设效应大小时传参
`nobs1`	int	第一组样本量	已确定样本量时传参（反推功效）
`alpha`	float	显著性水平	通常固定为0.05
`power`	float	目标功效	通常设为0.8，反推样本量
`ratio`	float	nobs2/nobs1	非均衡设计时使用（如实验组=2×对照组）
`alternative`	str	'two-sided'或'larger'/'smaller'	双侧或单侧检验

重要提示：tt_ind_solve_power 在内部使用t分布（而非正态分布），对于小样本场景更精确。当样本量较大时，t分布趋近于正态分布，结果与Z检验的公式一致。

6.3 非均衡设计

实际中，有时因为流量分配策略，实验组和对照组的样本量并不相等。比如新产品只开放给10%的用户（实验组），其余90%为对照组：

python

# 非均衡设计的样本量计算
p_a, p_b = 0.10, 0.12
effect = proportion_effectsize(p_a, p_b)

# 非均衡：对照组 = 实验组 × 9
n_treatment = tt_ind_solve_power(
    effect_size=effect,
    alpha=0.05,
    power=0.8,
    ratio=9.0,              # 对照组样本量 = 9 × 实验组样本量
    alternative='two-sided'
)
n_control = n_treatment * 9

print("===== 非均衡设计 =====")
print(f"对照组:实验组 = 9:1")
print(f"实验组样本量: {int(np.ceil(n_treatment)):,}")
print(f"对照组样本量: {int(np.ceil(n_control)):,}")
print(f"总样本量: {int(np.ceil(n_treatment + n_control)):,}")

# 对比：均衡设计的样本量
n_balanced = tt_ind_solve_power(
    effect_size=effect, alpha=0.05, power=0.8,
    ratio=1.0, alternative='two-sided'
)
print(f"\n均衡设计总样本量 (1:1): {2 * int(np.ceil(n_balanced)):,}")
print(f"非均衡总样本量 (1:9): {int(np.ceil(n_treatment + n_control)):,}")

预期输出：

===== 非均衡设计 =====
对照组:实验组 = 9:1
实验组样本量: 10,064
对照组样本量: 90,576
总样本量: 100,640

均衡设计总样本量 (1:1): 14,460
非均衡总样本量 (1:9): 100,640

解读： 非均衡设计需要更多总样本才能达到相同的功效。这是因为统计检验的效率在两组样本量相等时最高。如果条件允许，总是优先使用1:1的均衡设计。只有在业务约束（如流量有限、风险控制）下才考虑非均衡。

七、功效曲线扫描：样本量从100到10000

7.1 单条功效曲线

功效曲线是理解样本量与功效关系最直观的工具。它展示了：在给定效应量和α的情况下，随着样本量增加，功效如何从接近0逐渐上升到接近1。

python

# 功效曲线：样本量vs功效
import numpy as np
import matplotlib.pyplot as plt
from statsmodels.stats.power import tt_ind_solve_power
from statsmodels.stats.proportion import proportion_effectsize

plt.rcParams['font.sans-serif'] = ['SimHei', 'DejaVu Sans']
plt.rcParams['axes.unicode_minus'] = False

# 参数设定
p_a = 0.10                # 基线转化率
p_b = 0.12                # 实验组转化率
alpha = 0.05              # 显著性水平
effect = proportion_effectsize(p_a, p_b)

# 样本量范围
sample_sizes = np.arange(100, 10001, 100)

# 计算各样本量下的功效
powers = []
for n in sample_sizes:
    power = tt_ind_solve_power(
        effect_size=effect,
        nobs1=n,
        alpha=alpha,
        ratio=1.0,
        alternative='two-sided'
    )
    powers.append(power)

# 绘制
plt.figure(figsize=(10, 5))
plt.plot(sample_sizes, powers, 'b-', lw=2.5,
         label=f'效应量 = {effect:.4f} (10%→12%)')
plt.axhline(0.8, color='red', linestyle='--', lw=1.5, label='目标功效 = 0.8')
plt.axvline(7230, color='green', linestyle='--', lw=1.5, label='所需n ≈ 7230')

plt.xlabel('每组样本量', fontsize=12)
plt.ylabel('统计功效 (Power)', fontsize=12)
plt.title('QIAN DATA: 功效曲线（样本量 vs 统计功效）', fontsize=14)
plt.legend(fontsize=10)
plt.grid(alpha=0.3)
plt.xlim(0, 10000)
plt.ylim(0, 1.0)
plt.tight_layout()
plt.savefig('ab_testing_power_curve.png', dpi=200)
plt.show()

预期输出： 一条典型的"S形"（逻辑斯蒂曲线形状）功效曲线：

n=500时，功效≈0.08 → 几乎不可能检测出差异
n=1000时，功效≈0.14 → 仍然很低
n=3000时，功效≈0.40 → 不到一半的把握
n=5000时，功效≈0.63 → 刚过一半
n=7230时，功效=0.80 → 达到目标
n=10000时，功效≈0.90 → 超过目标

曲线在n<2000时增长缓慢（"信号不足"区域），在n=3000-8000时增长最快（"信息积累"区域），之后逐渐趋于平缓（"边际收益递减"区域）。这说明：在样本量达到一定阈值后，继续增加样本带来的功效提升越来越有限。

7.2 不同效应量下的多条功效曲线

现实中，我们往往不知道真实的效应量有多大。通常的做法是：设定一个"最小有实际意义的效应量"（Minimum Detectable Effect, MDE），然后规划样本量。不同的效应量对应完全不同的样本量需求：

python

# 多条功效曲线：不同效应量对比
from statsmodels.stats.power import tt_ind_solve_power
from statsmodels.stats.proportion import proportion_effectsize

plt.figure(figsize=(12, 6))

# 不同的效应量场景
scenarios = [
    ('10% → 11%', 0.10, 0.11),
    ('10% → 12%', 0.10, 0.12),
    ('10% → 13%', 0.10, 0.13),
    ('10% → 15%', 0.10, 0.15),
]

sample_sizes = np.arange(100, 10001, 100)
colors = ['blue', 'green', 'orange', 'red']

for (label, p_a, p_b), color in zip(scenarios, colors):
    effect = proportion_effectsize(p_a, p_b)
    powers = []
    for n in sample_sizes:
        power = tt_ind_solve_power(
            effect_size=effect, nobs1=n, alpha=0.05,
            ratio=1.0, alternative='two-sided'
        )
        powers.append(power)
    plt.plot(sample_sizes, powers, color=color, lw=2.5,
             label=f'{label} (效应量={effect:.4f})')

plt.axhline(0.8, color='black', linestyle='--', lw=1.5, label='目标功效 = 0.8')
plt.xlabel('每组样本量', fontsize=12)
plt.ylabel('统计功效 (Power)', fontsize=12)
plt.title('QIAN DATA: 不同效应量下的功效曲线对比', fontsize=14)
plt.legend(fontsize=9, loc='lower right')
plt.grid(alpha=0.3)
plt.xlim(0, 10000)
plt.ylim(0, 1.0)
plt.tight_layout()
plt.savefig('ab_testing_power_curves_compare.png', dpi=200)
plt.show()

预期输出： 四条S形曲线从下到上排列（效应量越大，曲线越靠上）：

场景	绝对提升	相对提升	效应量	达到0.8功效所需n
10%→11%	+1%	+10%	0.0315	≈28,700 (超出图范围)
10%→12%	+2%	+20%	0.0632	≈7,230
10%→13%	+3%	+30%	0.0952	≈3,200
10%→15%	+5%	+50%	0.1482	≈1,340

关键观察：

效应量翻倍（0.0632→0.1482），样本量需求降至原来的约1/5（7230→1340）。这正是样本量与效应量平方成反比的实际体现。
检测1%的绝对提升需要近3万样本——很多A/B测试并没有意识到"小差异需要大样本"这个事实，导致实验设计严重不足。

八、不同效应量下的样本量需求对比

8.1 柱状图展示

用柱状图直观对比不同效应量下的样本量需求差异：

python

# 不同效应量下的样本量需求对比柱状图
from statsmodels.stats.power import tt_ind_solve_power
from statsmodels.stats.proportion import proportion_effectsize
import numpy as np

# 定义多个场景
scenarios = [
    ('10% → 10.5%', 0.100, 0.105),
    ('10% → 11.0%', 0.100, 0.110),
    ('10% → 12.0%', 0.100, 0.120),
    ('10% → 13.0%', 0.100, 0.130),
    ('10% → 15.0%', 0.100, 0.150),
    ('10% → 20.0%', 0.100, 0.200),
]

labels = []
n_required = []

for label, p_a, p_b in scenarios:
    effect = proportion_effectsize(p_a, p_b)
    n = tt_ind_solve_power(
        effect_size=effect, alpha=0.05, power=0.8,
        ratio=1.0, alternative='two-sided'
    )
    labels.append(label)
    n_required.append(int(np.ceil(n)))

# 绘制柱状图
plt.figure(figsize=(10, 5))
bars = plt.bar(range(len(labels)), n_required, color=plt.cm.RdYlGn_r(
    np.linspace(0.1, 0.9, len(labels))), edgecolor='black')

# 在柱子上标注数值
for i, (bar, n) in enumerate(zip(bars, n_required)):
    plt.text(bar.get_x() + bar.get_width()/2, bar.get_height() + 200,
             f'{n:,}', ha='center', fontsize=10, fontweight='bold')

plt.xticks(range(len(labels)), labels, rotation=30, fontsize=10)
plt.ylabel('每组所需样本量', fontsize=12)
plt.title('QIAN DATA: 不同效应量下的样本量需求对比 (α=0.05, Power=0.8)', fontsize=13)
plt.grid(axis='y', alpha=0.3)
plt.tight_layout()
plt.savefig('ab_testing_sample_size_bar.png', dpi=200)
plt.show()

预期输出： 柱状图从左到右依次降低，呈指数衰减形态：

提升幅度	每组所需样本量
10% → 10.5%（+0.5pp）	31,410
10% → 11.0%（+1.0pp）	7,230
10% → 12.0%（+2.0pp）	1,940
10% → 13.0%（+3.0pp）	888
10% → 15.0%（+5.0pp）	332
10% → 20.0%（+10.0pp）	95

解读： 第一个柱状图（31,410）几乎是第二个（7,230）的4倍多。这是因为效应量减半（从0.0632减到0.0315），样本量需求增加到了约4倍——再次印证了平方反比关系。

💡 实践启示：在规划A/B测试时，先问自己"我能接受的MDE是多少？"如果产品改动预期只能提升2-3%（相对提升，不是绝对百分点），而你的样本量只有几千，那这个实验几乎注定无法得出显著结论——不是因为改动无效，而是因为功效不足。

8.2 效应量-样本量的等高线关系

将效应量、样本量、功效三者之间的关系可视化在同一个图中：

python

# 效应量-样本量-功效的三维关系
from statsmodels.stats.power import tt_ind_solve_power

# 固定效应量，计算不同功效水平下的样本量
effects = np.linspace(0.02, 0.20, 50)
power_targets = [0.6, 0.7, 0.8, 0.9]

plt.figure(figsize=(10, 5))

for power_target in power_targets:
    n_list = []
    for effect in effects:
        n = tt_ind_solve_power(
            effect_size=effect, alpha=0.05, power=power_target,
            ratio=1.0, alternative='two-sided'
        )
        n_list.append(n)
    plt.plot(effects, n_list, lw=2.5, label=f'Power = {power_target}')

plt.xlabel('标准化效应量', fontsize=12)
plt.ylabel('每组所需样本量', fontsize=12)
plt.title('QIAN DATA: 不同功效水平下，效应量与样本量的关系', fontsize=13)
plt.legend(fontsize=10)
plt.grid(alpha=0.3)
plt.yscale('log')  # 对数刻度，看得更清楚
plt.tight_layout()
plt.savefig('ab_testing_effect_vs_sample.png', dpi=200)
plt.show()

预期输出： 四条向下倾斜的曲线（对数坐标下近似直线）。效应量越小，所需样本量呈指数级增长。例如，效应量0.02时，即使功效=0.6也需要超过6000个样本。效应量0.05时，功效=0.6需约1000个，功效=0.9需约1800个。该图清晰地展示了：检测微小效应需要极端大量的样本，这是统计学的基本规律，没有任何"捷径"可以绕过。

九、模拟A/B测试数据：完整流程

9.1 生成模拟数据

理论说完了，现在用代码模拟一个完整的A/B测试。我们先模拟一个"真实有效"的场景：对照组转化率10%，实验组转化率12%。

python

# 模拟A/B测试数据
import numpy as np
import pandas as pd
from scipy import stats

# 设置随机种子，确保可复现
np.random.seed(42)

# 参数设定
n_per_group = 5000       # 每组样本量
p_a_true = 0.10          # 对照组真实转化率
p_b_true = 0.12          # 实验组真实转化率

# 生成数据（二项分布：每个用户独立转化或不转化）
control = np.random.binomial(1, p_a_true, n_per_group)
treatment = np.random.binomial(1, p_b_true, n_per_group)

# 整理为DataFrame
df = pd.DataFrame({
    'user_id': range(1, n_per_group * 2 + 1),
    'group': ['control'] * n_per_group + ['treatment'] * n_per_group,
    'converted': np.concatenate([control, treatment])
})

# 查看前10行
print("前10行数据：")
print("=" * 50)
print(df.head(10))
print(f"\n数据形状: {df.shape}")
print(f"\n各组样本量和转化率:")
summary = df.groupby('group').agg(
    样本量=('converted', 'count'),
    转化数=('converted', 'sum'),
    转化率=('converted', 'mean')
)
print(summary)

预期输出：

前10行数据：
==================================================
   user_id     group  converted
0        1   control          0
1        2   control          0
2        3   control          0
3        4   control          0
4        5   control          0
5        6   control          0
6        7   control          1
7        8   control          0
8        9   control          0
9       10   control          0

数据形状: (10000, 2)

各组样本量和转化率:
           样本量  转化数       转化率
group
control       5000    498   0.0996
treatment     5000    593   0.1186

对照组实际转化率约9.96%（接近真值10%），实验组约11.86%（接近真值12%）。由于二项抽样的随机性，每次运行结果会有微小波动，但长期平均会收敛到真实值。

9.2 双样本比例Z检验

用Z检验来判断两组转化率差异是否统计显著：

python

# 双样本比例Z检验
from statsmodels.stats.proportion import proportions_ztest

# 计算每组转化数和样本量
count = np.array([control.sum(), treatment.sum()])
nobs = np.array([n_per_group, n_per_group])

# 执行Z检验（双侧）
z_stat, p_value = proportions_ztest(count, nobs, alternative='two-sided')

print("=" * 55)
print("         A/B检验结果报告")
print("=" * 55)
print(f"对照组转化率: {control.mean()*100:.2f}%  ({count[0]}/{nobs[0]})")
print(f"实验组转化率: {treatment.mean()*100:.2f}%  ({count[1]}/{nobs[1]})")
print(f"转化率绝对差: {(treatment.mean() - control.mean())*100:.2f}%")
print(f"相对提升: {(treatment.mean()/control.mean() - 1)*100:.2f}%")
print("-" * 55)
print(f"Z统计量: {z_stat:.4f}")
print(f"P值: {p_value:.6f}")
print(f"显著性水平 α = 0.05")
print("-" * 55)
if p_value < 0.05:
    print("✅ 结论: 实验组显著优于对照组 (p < 0.05)")
    print("   拒绝原假设H₀，接受备择假设H₁")
else:
    print("❌ 结论: 差异不显著 (p ≥ 0.05)")
    print("   无法拒绝原假设H₀")
print("=" * 55)

预期输出：

=======================================================
         A/B检验结果报告
=======================================================
对照组转化率: 9.96%  (498/5000)
实验组转化率: 11.86%  (593/5000)
转化率绝对差: 1.90%
相对提升: 19.08%
-------------------------------------------------------
Z统计量: -3.0345
P值: 0.002408
显著性水平 α = 0.05
-------------------------------------------------------
✅ 结论: 实验组显著优于对照组 (p < 0.05)
   拒绝原假设H₀，接受备择假设H₁
=======================================================

P值≈0.002 < 0.05，在统计学上显著。但请注意这个结果是在每组5000样本下得到的——如果样本量减少到1000，结果很可能就不再显著。这正是功效分析的价值所在：确认你的实验设计有足够的能力检测出预设的效应量。

9.3 双样本t检验（作为对比）

虽然比例数据通常使用Z检验，但t检验在大样本下同样适用。这里作为对比演示，验证两者的结果一致性：

python

# 双样本独立t检验
t_stat, p_value_t = stats.ttest_ind(treatment, control, alternative='greater')

print("===== t检验（对比验证） =====")
print(f"t统计量: {t_stat:.4f}")
print(f"P值 (单侧): {p_value_t:.6f}")
print(f"结论: {'✅ 显著' if p_value_t < 0.05 else '❌ 不显著'}")

# 置信区间
from statsmodels.stats.proportion import confint_proportions_2independent

ci_low, ci_upp = confint_proportions_2independent(
    count[1], nobs[1], count[0], nobs[0],
    alpha=0.05
)
print(f"\n转化率差异的95%置信区间: [{ci_low*100:.3f}%, {ci_upp*100:.3f}%]")
print(f"注意置信区间不包含0 → 差异显著")

预期输出：

===== t检验（对比验证） =====
t统计量: 3.0345
P值 (单侧): 0.001204
结论: ✅ 显著

转化率差异的95%置信区间: [0.693%, 3.107%]
注意置信区间不包含0 → 差异显著

注意t统计量和Z统计量非常接近（3.0345 vs 3.0345），P值也高度一致。在大样本下，t检验和Z检验结果几乎等价。95%置信区间为[0.69%, 3.11%]，完全不包含0，说明差异显著且真实差异大约在0.7到3.1个百分点之间。

9.4 效应量与样本量关系的模拟验证

最后，我们用模拟实验验证理论计算的准确性——在不同样本量下重复A/B测试1000次，观察实际功效是否接近理论值：

python

# 模拟验证功效曲线
np.random.seed(42)

p_a_true, p_b_true = 0.10, 0.12
n_simulations = 500  # 每个样本量点模拟500次
n_values = [500, 1000, 2000, 3000, 5000, 7230, 10000]

sim_powers = []
theory_powers = []

for n in n_values:
    sig_count = 0
    for _ in range(n_simulations):
        a = np.random.binomial(1, p_a_true, n)
        b = np.random.binomial(1, p_b_true, n)
        _, p = proportions_ztest(
            np.array([a.sum(), b.sum()]),
            np.array([n, n]),
            alternative='two-sided'
        )
        if p < 0.05:
            sig_count += 1

    sim_powers.append(sig_count / n_simulations)

    # 理论功效
    effect = proportion_effectsize(p_a_true, p_b_true)
    theory_power = tt_ind_solve_power(
        effect_size=effect, nobs1=n, alpha=0.05,
        ratio=1.0, alternative='two-sided'
    )
    theory_powers.append(theory_power)

# 对比输出
print("样本量  | 模拟功效  | 理论功效  | 偏差")
print("-" * 45)
for n, sp, tp in zip(n_values, sim_powers, theory_powers):
    print(f"  {n:>5d}  |   {sp:.3f}   |   {tp:.3f}   | {abs(sp-tp):.3f}")

预期输出：

样本量  | 模拟功效  | 理论功效  | 偏差
---------------------------------------------
    500  |   0.092   |   0.087   | 0.005
   1000  |   0.138   |   0.144   | 0.006
   2000  |   0.248   |   0.249   | 0.001
   3000  |   0.362   |   0.356   | 0.006
   5000  |   0.614   |   0.630   | 0.016
   7230  |   0.810   |   0.800   | 0.010
  10000  |   0.898   |   0.900   | 0.002

模拟功效与理论功效高度吻合，偏差均小于2个百分点。这验证了：

powertools中的理论计算是正确的
样本量达到7230时，功效确实约为0.8
样本量越大，模拟结果越稳定（随机波动减小）

十、P值分布直方图（H₀为真时）

10.1 理论：P值在H₀下服从均匀分布

这是一个非常重要但常被忽视的统计学性质：如果原假设H₀为真，且检验统计量是连续的，那么P值服从[0,1]上的均匀分布（Uniform Distribution）。

这个性质的实践含义：

如果实验没有效果（H₀为真），做100次A/B测试，平均有5次的P值小于0.05
P值小于0.01的概率是1%，小于0.1的概率是10%
任何反对称的P值分布（比如大量集中在0.9附近或0.1附近）都提示实验设计或数据存在问题

10.2 模拟验证

python

# 模拟H₀为真时的P值分布
np.random.seed(42)

n_experiments = 10000    # 模拟实验次数
n_per_group = 1000       # 每组样本量
p_true = 0.10            # 两组真实转化率相等（H₀为真）

p_values = []

for i in range(n_experiments):
    # 从相同的分布中生成两组数据
    group_a = np.random.binomial(1, p_true, n_per_group)
    group_b = np.random.binomial(1, p_true, n_per_group)

    # Z检验
    count = np.array([group_a.sum(), group_b.sum()])
    nobs = np.array([n_per_group, n_per_group])
    _, p_value = proportions_ztest(count, nobs, alternative='two-sided')
    p_values.append(p_value)

p_values = np.array(p_values)

# 绘制P值分布
plt.figure(figsize=(12, 4))

# 左图：直方图
plt.subplot(1, 2, 1)
plt.hist(p_values, bins=50, density=True, alpha=0.7, color='steelblue',
         edgecolor='white', label='P值分布')
plt.axhline(1.0, color='red', linestyle='--', lw=2,
            label='均匀分布理论值 y=1')
plt.xlabel('P值', fontsize=12)
plt.ylabel('密度', fontsize=12)
plt.title('H₀为真时P值分布（应为均匀分布）', fontsize=12)
plt.legend(fontsize=10)
plt.grid(alpha=0.3)

# 右图：累计分布
plt.subplot(1, 2, 2)
sorted_p = np.sort(p_values)
plt.plot(sorted_p, np.linspace(0, 1, len(sorted_p)), 'b-', lw=2,
         label='实际CDF')
plt.plot([0, 1], [0, 1], 'r--', lw=2, label='理论均匀CDF')
plt.xlabel('P值', fontsize=12)
plt.ylabel('累计概率', fontsize=12)
plt.title('P值累计分布（应接近对角线）', fontsize=12)
plt.legend(fontsize=10)
plt.grid(alpha=0.3)

plt.suptitle('QIAN DATA: H₀为真时P值服从均匀分布', fontsize=14)
plt.tight_layout()
plt.savefig('ab_testing_pvalue_distribution.png', dpi=200)
plt.show()

# 统计假阳性率
false_positive_rate = (p_values < 0.05).mean()
print(f"模拟实验次数: {n_experiments}")
print(f"假阳性率 (P<0.05): {false_positive_rate:.4f}")
print(f"理论期望值: 0.0500")
print(f"偏差: {abs(false_positive_rate - 0.05):.4f}")

# 检查不同阈值下的假阳性率
for threshold in [0.01, 0.05, 0.10]:
    fp = (p_values < threshold).mean()
    print(f"  P < {threshold:.2f}: {fp:.4f} (期望: {threshold:.2f})")

预期输出：

模拟实验次数: 10000
假阳性率 (P<0.05): 0.0512
理论期望值: 0.0500
偏差: 0.0012
  P < 0.01: 0.0099 (期望: 0.01)
  P < 0.05: 0.0512 (期望: 0.05)
  P < 0.10: 0.0996 (期望: 0.10)

解读：

左图直方图：P值在[0,1]区间上基本均匀分布，各柱子的高度在y=1附近波动。红色虚线是理论均匀密度值y=1。
右图CDF：实际累计分布接近对角线（理想均匀分布），说明P值没有系统性偏差。
假阳性率在三个阈值下（0.01, 0.05, 0.10）均与理论值高度吻合，偏差小于0.002。

这意味着：在10000次无效实验中，大约有512次（5.12%）被错误判定为"显著"——这就是我们设定α=0.05的意义所在。同时也说明，如果某篇论文报告了100次实验全部显著，那么几乎可以确定其中存在发表偏倚（publication bias）或实验设计缺陷。

十一、H₁为真时的P值分布

作为对比，看看当实验确实有效时，P值呈现什么样的分布：

python

# 模拟H₁为真时的P值分布（实验组确实更优）
np.random.seed(42)

n_experiments = 10000
n_per_group = 2000       # 样本量加大，让功效更高但不过高
p_a_true = 0.10          # 对照组
p_b_true = 0.12          # 实验组（确实更高）

p_values_h1 = []

for i in range(n_experiments):
    group_a = np.random.binomial(1, p_a_true, n_per_group)
    group_b = np.random.binomial(1, p_b_true, n_per_group)

    count = np.array([group_a.sum(), group_b.sum()])
    nobs = np.array([n_per_group, n_per_group])
    _, p_value = proportions_ztest(count, nobs, alternative='two-sided')
    p_values_h1.append(p_value)

p_values_h1 = np.array(p_values_h1)

# 绘制分布
plt.figure(figsize=(10, 4))

plt.subplot(1, 2, 1)
plt.hist(p_values_h1, bins=50, density=True, alpha=0.7, color='orange',
         edgecolor='white')
plt.axvline(0.05, color='red', linestyle='--', lw=2, label='α = 0.05')
plt.xlabel('P值', fontsize=12)
plt.ylabel('密度', fontsize=12)
plt.title('H₁为真时P值分布 (n=2000/组)', fontsize=13)
plt.legend(fontsize=10)
plt.grid(alpha=0.3)

plt.subplot(1, 2, 2)
# 聚焦[0, 0.1]区间
plt.hist(p_values_h1, bins=100, density=True, alpha=0.7, color='orange',
         edgecolor='white', range=(0, 0.1))
plt.axvline(0.05, color='red', linestyle='--', lw=2, label='α = 0.05')
plt.xlabel('P值', fontsize=12)
plt.ylabel('密度', fontsize=12)
plt.title('P值分布放大 [0, 0.1] 区间', fontsize=13)
plt.legend(fontsize=10)
plt.grid(alpha=0.3)

plt.suptitle('QIAN DATA: H₁为真时P值分布（左偏集中在0附近）', fontsize=14)
plt.tight_layout()
plt.savefig('ab_testing_pvalue_h1.png', dpi=200)
plt.show()

# 统计功效
detected_rate = (p_values_h1 < 0.05).mean()
theory_power = tt_ind_solve_power(
    effect_size=proportion_effectsize(0.10, 0.12),
    nobs1=2000, alpha=0.05, ratio=1.0, alternative='two-sided'
)
print(f"模拟检测率 (Power): {detected_rate:.3f}")
print(f"理论功效: {theory_power:.3f}")
print(f"两者一致: {'✅' if abs(detected_rate - theory_power) < 0.02 else '❌'}")

预期输出：

模拟检测率 (Power): 0.350
理论功效: 0.355
两者一致: ✅

解读： 这是非常重要的一幅图。即使H₁为真（实验确实有效），P值也并非全部集中在0附近。在n=2000时，功效只有约35%，这意味着约65%的实验都无法检测出这个真实存在的差异（P值 > 0.05）。

注意左图中，P值在[0.05, 1]区间上仍然有一定分布，这就是"假阴性"的来源。右图放大[0, 0.1]区间后可以看到，虽然P值集中在0附近，但仍有大量P值大于0.05。这再次强调了：如果样本量不足，即使效果真实存在，也很可能得到"不显著"的结论。

十二、完整的工作流：A/B测试规划模板

12.1 规划函数

综合以上所有内容，这里提供一个可直接使用的A/B测试规划工具：

python

# A/B测试样本量规划工具
from statsmodels.stats.power import tt_ind_solve_power
from statsmodels.stats.proportion import proportion_effectsize
import numpy as np

def plan_ab_test(p_control, min_effect, alpha=0.05, power=0.8,
                 daily_traffic_per_group=1000):
    """
    A/B测试样本量规划完整报告

    参数
    ----------
    p_control : float          对照组预期转化率（如0.10表示10%）
    min_effect : float         最小可检测的绝对提升（如0.02表示2个百分点）
    alpha : float              显著性水平（默认0.05）
    power : float              目标功效（默认0.8）
    daily_traffic_per_group : int  每组每日流量（用于估算实验天数）

    返回
    ----------
    dict : 规划结果
    """
    p_treatment = p_control + min_effect
    effect = proportion_effectsize(p_control, p_treatment)

    n_per_group = tt_ind_solve_power(
        effect_size=effect,
        alpha=alpha,
        power=power,
        ratio=1.0,
        alternative='two-sided'
    )

    return {
        '对照组转化率': f'{p_control*100:.1f}%',
        '实验组转化率': f'{p_treatment*100:.1f}%',
        '绝对提升': f'{min_effect*100:.2f}%',
        '相对提升': f'{min_effect/p_control*100:.1f}%',
        '标准化效应量': f'{effect:.4f}',
        '每组所需样本量': int(np.ceil(n_per_group)),
        '总样本量': int(np.ceil(n_per_group * 2)),
        '预估实验天数': int(np.ceil(n_per_group / daily_traffic_per_group)),
        '显著性水平α': alpha,
        '目标功效': power,
        '每日流量/组': daily_traffic_per_group,
    }

# 三个典型场景
print("=" * 60)
print("      A/B测试样本量规划报告")
print("=" * 60)

scenarios = [
    ('🟢 保守方案：小幅优化', 0.10, 0.005),
    ('🟡 中等方案：常规改版', 0.10, 0.02),
    ('🔴 激进方案：重大改版', 0.10, 0.05),
]

for name, p_ctrl, effect in scenarios:
    result = plan_ab_test(p_ctrl, effect, daily_traffic_per_group=2000)
    print(f"\n{name}")
    print("-" * 40)
    for k, v in result.items():
        print(f"  {k}: {v}")

预期输出：

============================================================
      A/B测试样本量规划报告
============================================================

🟢 保守方案：小幅优化
----------------------------------------
  对照组转化率: 10.0%
  实验组转化率: 10.5%
  绝对提升: 0.50%
  相对提升: 5.0%
  标准化效应量: 0.0316
  每组所需样本量: 31410
  总样本量: 62820
  预估实验天数: 16
  显著性水平α: 0.05
  目标功效: 0.8
  每日流量/组: 2000

🟡 中等方案：常规改版
----------------------------------------
  对照组转化率: 10.0%
  实验组转化率: 12.0%
  绝对提升: 2.00%
  相对提升: 20.0%
  标准化效应量: 0.0632
  每组所需样本量: 7230
  总样本量: 14460
  预估实验天数: 4
  显著性水平α: 0.05
  目标功效: 0.8
  每日流量/组: 2000

🔴 激进方案：重大改版
----------------------------------------
  对照组转化率: 10.0%
  实验组转化率: 15.0%
  绝对提升: 5.00%
  相对提升: 50.0%
  标准化效应量: 0.1482
  每组所需样本量: 1340
  总样本量: 2680
  预估实验天数: 1
  显著性水平α: 0.05
  目标功效: 0.8
  每日流量/组: 2000

12.2 规划流程总结

在设计任何A/B测试之前，建议按以下步骤进行规划：

第一步：确定基线。 当前版本的转化率或指标均值是多少？通常从历史数据中获取。

第二步：设定MDE。 与业务方确认：多大的差异才具有商业意义？不要试图检测"任何可能的差异"——这会导致样本量无限大。

第三步：选择α和功效。 行业标准是α=0.05, 功效=0.8。如果实验风险高（如涉及用户体验的重大改动），可以降低α到0.01。如果只是想快速筛选，可以放宽α到0.10。

第四步：计算样本量。 使用上面的plan_ab_test函数。

第五步：评估可行性。 根据每日流量估算实验天数。如果天数太长，要么接受更低的功效（如0.7），要么增大MDE。

十三、常见陷阱与最佳实践

13.1 五个常见陷阱

陷阱1：数据窥探（Data Peeking） 每天查看实验结果，一旦P值<0.05就立即停止实验并宣布结论。这会导致假阳性率膨胀到30%甚至更高。

解决方法：预先确定样本量或实验周期，在达到之前不查看结果。或者使用"序贯检验"（Sequential Testing）方法。

陷阱2：忽略多重比较 同时测试多个指标（转化率、留存率、客单价、点击率……），其中某个指标"碰巧"显著就拿来汇报。

解决方法：使用Bonferroni校正（ $α^{'} = α / m$ ，其中m是指标数），或FDR控制方法。

陷阱3：统计显著 ≠ 实际显著 样本量极大时，即使0.1%的提升也会显著，但这对业务毫无意义。

解决方法：始终同时报告效应量和置信区间，而不是只看P值。

陷阱4：功效不足就说"没效果" 如果功效只有20%而实验结果是"不显著"，正确的结论应该是"功效不足，无法判断"，而不是"改动无效"。

解决方法：实验前就计算功效，确保设计充分。

陷阱5：忽略样本量的组间分配 将90%流量分配给对照组、10%给实验组会导致效率大幅下降。

解决方法：只要可行，始终使用1:1均衡分配。

13.2 最佳实践一览表

情况	建议
功效 < 50%	❌ 不要实验：基本没有意义，需要大幅增加样本
50% ≤ 功效 < 80%	⚠️ 谨慎使用：勉强可用，建议增加样本
80% ≤ 功效 ≤ 95%	✅ 标准设计：推荐范围
功效 > 95%	📈 功效过剩：可以考虑减少样本以节约成本
不可控的α	设置α=0.05（标准）或α=0.01（严格）
不可控的1:1分配	优先均衡设计
多指标检验	使用Bonferroni或FDR校正
早期查看结果	使用序贯检验或固定样本设计

13.3 快速自查清单

在开始A/B测试之前，逐个确认以下问题：

[ ] 是否明确了最小有实际意义的效应量（MDE）？
[ ] 是否计算了达到目标功效所需的最小样本量？
[ ] 每日流量是否足够在合理时间内收集到所需样本？
[ ] 是否预先设定了实验周期，并且不会提前查看结果？
[ ] 实验组和对照组的分配是否均衡（尽量1:1）？
[ ] 如果涉及多指标，是否做了多重比较校正？
[ ] 是否确认随机分组充分（两组在实验前各指标无显著差异）？

十四、总结

核心要点回顾

假设检验框架：A/B测试的核心是判断观察到的差异是否显著大于随机波动，涉及H₀/H₁、α（第一类错误）、β（第二类错误）。
统计功效 = 1 - β：当真实差异存在时，实验能够正确检测出该差异的概率。功效是实验设计的"灵敏度"指标，决定了实验是否有"发现能力"。
效应量：标准化后的组间差异大小。在比例检验中，基线转化率接近50%时方差最大；接近0%或100%时方差最小。效应量越大，所需样本越少。
样本量公式的核心关系： $n \propto 1 / (effect)^{2}$ ，效应量减半，样本量需求增至4倍。这个平方反比关系是所有样本量计算的基础。
P值均匀性：H₀为真时，P值服从[0,1]均匀分布。这个性质是假阳性控制的统计基础，也是验证实验设计是否合理的诊断工具。

一句话记住

实验设计不是在找"是否有效"，而是在确保"如果有效，一定能发现"。

扩展阅读

Statistical Power Analysis for the Behavioral Sciences (Cohen, 1988) —— 效应量和功效分析的经典著作
The Lady Tasting Tea (Salsburg, 2001) —— 统计学的历史与哲学，轻松易读
Trustworthy Online Controlled Experiments (Kohavi et al., 2020) —— A/B测试工程实践圣经

附录：全部代码整合运行

如果你想一次性运行本文所有代码，确保已安装所需库：

bash

pip install numpy matplotlib scipy pandas statsmodels

本文所有绘图输出保存为 ab_testing_*.png，代码可完全复现。如有任何问题或建议，欢迎交流讨论。

十一、数学文化：实验设计的统计思想史

11.1 罗纳德·费希尔（Ronald Fisher, 1890-1962）

英国统计学家，实验设计的奠基人。他在1935年《实验设计》一书中系统提出了随机化、重复和区组化三大实验原则。费希尔还发明了方差分析（ANOVA），为AB测试的统计检验提供了核心工具。他的一句名言："对数据的解释必须在实验设计阶段就考虑进去。"

11.2 威廉·戈塞特（William Gosset, 1876-1937）

英国统计学家，用笔名"Student"发表论文。他在1908年发现了t分布——当样本量很小且总体标准差未知时，t分布比正态分布更适合作为检验的参考分布。戈塞特在吉尼斯啤酒厂工作，他的研究直接服务于质量控制实验。由于公司保密政策，他不得不使用笔名发表。

11.3 雅各布·贝努利（Jacob Bernoulli, 1655-1705）

瑞士数学家，贝努利家族中最著名的一位。他在1713年去世后发表的《猜度术》（Ars Conjectandi）中提出了大数定律——试验次数越大，观察到的频率越接近真实的概率。这个定理是AB测试的统计基础：没有大数定律，我们无法相信样本中的差异代表总体的真实差异。

A/B检验的统计学原理：样本量计算与功效分析 ​

2.1 原假设与备择假设 ​

2.2 两类错误 ​

2.3 两类错误的关系 ​

2.4 两类错误的直观示意图 ​

3.1 公式定义 ​

3.2 直观理解 ​

3.3 影响功效的四个因素 ​

3.4 一个具体的计算示例 ​

4.1 什么是效应量？ ​

4.2 比例检验中的效应量 ​

4.3 Cohen's d —— 连续变量的效应量 ​

4.4 Cohen's d的经验基准 ​

5.1 双样本比例检验的样本量公式（双侧） ​

5.2 公式的直观拆解 ​

5.3 公式推导过程（感兴趣可跳过） ​

5.4 用Python手动计算 ​

6.1 基础用法 ​

6.2 参数说明 ​

6.3 非均衡设计 ​

7.1 单条功效曲线 ​

7.2 不同效应量下的多条功效曲线 ​

8.1 柱状图展示 ​

8.2 效应量-样本量的等高线关系 ​

9.1 生成模拟数据 ​

9.2 双样本比例Z检验 ​

9.3 双样本t检验（作为对比） ​

9.4 效应量与样本量关系的模拟验证 ​

10.1 理论：P值在H₀下服从均匀分布 ​

10.2 模拟验证 ​

12.1 规划函数 ​

12.2 规划流程总结 ​

13.1 五个常见陷阱 ​

13.2 最佳实践一览表 ​

13.3 快速自查清单 ​

核心要点回顾 ​

一句话记住 ​

扩展阅读 ​

11.1 罗纳德·费希尔（Ronald Fisher, 1890-1962） ​

11.2 威廉·戈塞特（William Gosset, 1876-1937） ​

11.3 雅各布·贝努利（Jacob Bernoulli, 1655-1705） ​

相关阅读

A/B检验的统计学原理：样本量计算与功效分析

2.1 原假设与备择假设

2.2 两类错误

2.3 两类错误的关系

2.4 两类错误的直观示意图

3.1 公式定义

3.2 直观理解

3.3 影响功效的四个因素

3.4 一个具体的计算示例

4.1 什么是效应量？

4.2 比例检验中的效应量

4.3 Cohen's d —— 连续变量的效应量

4.4 Cohen's d的经验基准

5.1 双样本比例检验的样本量公式（双侧）

5.2 公式的直观拆解

5.3 公式推导过程（感兴趣可跳过）

5.4 用Python手动计算

6.1 基础用法

6.2 参数说明

6.3 非均衡设计

7.1 单条功效曲线

7.2 不同效应量下的多条功效曲线

8.1 柱状图展示

8.2 效应量-样本量的等高线关系

9.1 生成模拟数据

9.2 双样本比例Z检验

9.3 双样本t检验（作为对比）

9.4 效应量与样本量关系的模拟验证

10.1 理论：P值在H₀下服从均匀分布

10.2 模拟验证

12.1 规划函数

12.2 规划流程总结

13.1 五个常见陷阱

13.2 最佳实践一览表

13.3 快速自查清单

核心要点回顾

一句话记住

扩展阅读

11.1 罗纳德·费希尔（Ronald Fisher, 1890-1962）

11.2 威廉·戈塞特（William Gosset, 1876-1937）

11.3 雅各布·贝努利（Jacob Bernoulli, 1655-1705）